VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

Challenging-Terrain Transformer

Challenging-Terrain Transformer (Learning Humanoid Locomotion over Challenging Terrain)

UC Berkeley · 2024-10

VAヒューマノイド全身制御器1.4MRL方策

既存方策・モデルベース制御器・人のモーションキャプチャ軌跡でシーケンスモデリング事前学習の後、RLでファインチューニングする。

論文

Learning Humanoid Locomotion over Challenging TerrainarXiv 2410.03654

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2024-10

機関

UC Berkeley

重み公開

未確認

パラメータ

1.4M

構造

バックボーンLLM

なし

ビジョンエンコーダ

—

アクションヘッド

関節目標 + PDゲイン (RL方策)

チャンク

非公開

制御周期

50 Hz

構造の原文要約

1.4M Transformer、文脈16ステップ; 関節目標位置とPDゲインを50 Hzで予測

学習

事前学習アクセラレータ

A100 × 4

事前学習期間

非公開

事前学習ステップ・バッチ

300エポック · グローバルミニバッチ4,096

GPU・TPU時間

非公開

ファインチューニング

RLファインチューニング: A10 × 1、MuJoCo、2,048並列env × envあたり24ステップ × 2,000反復(~100M envステップ)、約1日

データ種類

シミュレーション・合成 / モーションキャプチャ

データ規模

事前学習の軌跡数は非公開; RLファインチューニング ~100Mサンプル

主要データセット

先行研究のニューラルネット方策の軌跡、モデルベース制御器の軌跡、既存の人の歩行モーションキャプチャ

タスク・評価

Berkeleyの山道を4マイル以上ハイキング、勾配31%超のサンフランシスコの道路を歩行

ロボット

Agility Digit

推論

推論デバイス・速度

50 Hz

推論メモリ

非公開

重み bf16(計算)

0 GB

実行場所

非公開

強化学習・ベース

強化学習

使用 (RL制御器の学習) · 軌跡シーケンス事前学習の後、MuJoCoでRLファインチューニング(環境2,048個、約1億ステップ)

ベース制御

ヒューマノイド歩行 (RL方策が直接駆動) · Transformerが速度指令を受けて関節目標・PDゲインを50 Hzで直接出力し不整地歩行 (Digit)

備考

主な特徴

既存方策・モデルベース制御器・人のモーションキャプチャ軌跡でシーケンスモデリング事前学習の後、RLでファインチューニングする。Transformerが関節レベルの方策を直接担う珍しい事例である。

備考

事前学習のwall-clockは非公開。ファインチューニングのcomputeはファインチューニング欄にのみ記録。

検証

確認