VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

SLIM

Horizon Robotics · 2025-01

VLAモバイルマニピュレーション19M未満RL方策

手首RGB 1台と言語指示で探索・接近・把持・運搬・投下の長期タスクを行う四足+アーム方策を、MuJoCoシミュレーションRL(特権教師→視覚生徒)のみで学習し、実ロボットに追加学習なしで配備した。

論文

バックボーンLLM: なし
ビジョンエンコーダ: FiLM U-Net(セグメンテーション・深度の補助) + ResNet 5ブロック、160×90 RGB 5フレーム
アクションヘッド: MLP actor: 腕関節の増分・グリッパー・前進/角速度 (RL方策)
チャンク: なし (1ステップ)
制御周期: 高レベル10 Hz、低レベル50 Hz
構造の原文要約: 160×90 RGB 5フレーム → FiLM U-Net(セグメンテーション・深度の補助予測)+ResNet 5ブロック+Transformer 5層(8ヘッド)、言語はバイトトークンの2層Transformer → MLP actor(512×3): 腕関節増分・グリッパ目標・前進/角速度指令 10 Hz → PPO低レベル歩行方策脚関節目標 50 Hz

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: シミュレーションRL(MuJoCo)のみ: 教師(マルチタスクSAC) GPU 4枚約1週間(120 env・4M iter)、生徒(SAC+KL蒸留) GPU 4枚約2週間(60 env・1.3M iter)、低レベル(PPO+ROA) GPU 1枚約3日(5,000 env・4B envステップ); V100級GPU
データ種類: シミュレーション・合成
データ規模: シミュレーションRL: 教師約60M・生徒約40M envステップ、低レベル 4B envステップ; 実データなし
主要データセット: なし(MuJoCoシミュレーション環境)
タスク・評価: 実環境Lobby標準配置で全タスク成功78.3±5.8%(3シード×20回) vs 熟練者テレオペレーション75.0±5.0%; 平均43.8秒(テレオペレーション65.5秒); 屋内外計400エピソードで評価
ロボット: Unitree Go1四足 + WidowX-250Sアーム、手首RealSense D435(RGBのみ使用)

推論デバイス・速度: ノートPC RTX 3070Ti(i9-12900H, RAM 16GB)で高レベル 10 Hz・低レベル 50 Hz の非同期推論; ロボット側のRaspberry Piはドライバを駆動
推論メモリ: 非公開
重み bf16(計算): 0 GB
実行場所: ノートPC RTX 3070Ti

強化学習: 使用 (RL制御器の学習) · 高レベル教師(マルチタスクSAC)・視覚生徒(SAC+KL蒸留)・低レベル歩行(PPO+ROA)はすべてMuJoCoシミュレーションRL、実データなし
強化学習の根拠: https://arxiv.org/abs/2501.09905
ベース制御: 四足歩行 (RL方策が直接駆動) · 高レベル方策が前進・角速度指令 + アーム関節増分・グリッパーを出力 → PPO低レベル歩行方策が脚関節を制御

主な特徴: 手首RGB 1台と言語指示で探索・接近・把持・運搬・投下の長期タスクを行う四足+アーム方策を、MuJoCoシミュレーションRL(特権教師→視覚生徒)のみで学習し、実ロボットに追加学習なしで配備した。19M未満のパラメータで実環境の全タスク成功率78.3%を記録し、熟練者のテレオペレーション(75.0%)と同等で約1.5倍速かった。
備考: リスト外の追加(2025 四足モバイルマニピュレーションVLA); 実データ・ファインチューニングなしで学習不要の配備; 言語エンコーダは事前学習LMなしのバイトトークンTransformer; 学習GPUは'V100 または類似'; コードは公開予定との言及のみ。
検証: 確認