VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

Learning Visual Quadrupedal Loco-Manipulation from Demonstrations

Shanghai Qi Zhi Institute·HKUST(GZ)·UC Berkeley·Tsinghua University(IIIS) · 2024-03

VAモバイルマニピュレーション非公開diffusion

前脚1本でパラメータ化されたベジェ軌跡に追従しつつ残り3本の脚で歩行するRL低レベル制御器と、点群ベースのDP3 diffusionプランナーが軌跡パラメータを出す階層型の脚操作方策である。

論文

分類: モバイルマニピュレーション
タイプ: VA
発表: 2024-03
機関: Shanghai Qi Zhi Institute·HKUST(GZ)·UC Berkeley·Tsinghua University(IIIS)
重み公開: なし
パラメータ: 非公開

バックボーンLLM: なし
ビジョンエンコーダ: DP3点群エンコーダ(768点、ワールド座標)
アクションヘッド: DP3 diffusion → ベジェ軌跡パラメータ (diffusion)
チャンク: 非公開
制御周期: プランナー10 Hz、低レベル50 Hz
構造の原文要約: 高レベル: DP3(ワールド座標点群768点+固有受容覚) diffusion → 6次有理ベジエ制御点・重み、開始/終了姿勢(SLERP)、操作脚フラグ、10 Hz / 低レベル: PPO方策(15ステップの固有受容覚履歴) → 脚12関節目標(ローパス+PD) 50 Hz

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: タスク別シミュレーション学習(IsaacGym): 低レベルPPO 30億タイムステップ、高レベルDP3視覚データ2万タイムステップ; GPU・時間は非公開
データ種類: シミュレーション・合成
データ規模: タスクあたりシミュレーションのエキスパート軌跡100個(各200タイムステップ、約3分で収集); 低レベルRL 30億タイムステップ
主要データセット: 独自のシミュレーション専門家軌跡(IsaacGym)
タスク・評価: シミュレーション9タスク(3シード平均): ボタン 92.3%、ドア押し 85.3%、取っ手引き 82.3%、かご持ち上げ 59.3%、バルブ回し 52.3%、食洗機閉め 50.3%、サッカーボール蹴り 26.0%、物体引き 12.7%、食洗機開け 5.7%; 実ロボットは定性デモのみ
ロボット: Unitree Aliengo四足(アームなし、前脚で操作)、RealSense D435深度カメラ + 外部AprilTag位置推定カメラ

強化学習: 一部 (RL下位制御器との結合) · 高レベルDP3プランナーはBC; 低レベルの足先軌跡追従・3脚歩行制御器はIsaacGym PPO(デモもこの制御器でシミュレーション生成)
強化学習の根拠: https://arxiv.org/abs/2403.20328
ベース制御: 四足歩行 (指令・潜在 → RL歩行制御器) · DP3プランナがワールド座標の足先軌跡パラメータを出力 → RL制御器が三脚歩行しながら追従(別途ベース速度指令なし)

主な特徴: 前脚1本でパラメータ化されたベジェ軌跡に追従しつつ残り3本の脚で歩行するRL低レベル制御器と、点群ベースのDP3 diffusionプランナーが軌跡パラメータを出す階層型の脚操作方策である。アームなしで脚だけを使い、ボタン押し・ドア押し・移動中のかご持ち上げなどをシミュレーションと実ロボット(Aliengo)で行った。
備考: デモは人のテレオペレーションではなく、設計した専門家軌跡パラメータをRL制御器がシミュレーションで追跡して生成; プランナーはベース速度を直接出さず、ワールド座標の目標(4 m×4 mの範囲で学習)で移動を誘導; 実ロボットの定量結果なし; コード・重み非公開。ベース: 3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations (arXiv 2403.03954) — 高レベルプランナーのバックボーンとしてDP3を使用(論文に明記)
検証: 確認