VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

RoboMamba

Peking University·AI²Robotics·BAAI · 2024-06

VLA自己回帰・潜在アクションVLAMamba 2.8B/1.4B + ViT-L回帰

TransformerではなくMamba状態空間モデルをLLMとして使ったVLAである。

論文

RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and ManipulationarXiv 2406.04339

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2024-06

機関

Peking University·AI²Robotics·BAAI

重み公開

未確認

パラメータ

Mamba 2.8B/1.4B + ViT-L; 方策ヘッド3.7M(全体の0.1%)

構造

バックボーンLLM

Mamba 2.8B (SSM)

ビジョンエンコーダ

CLIP/SigLIP ViT-L

アクションヘッド

MLP姿勢回帰 (3.7M) (回帰)

チャンク

非公開

制御周期

非公開

構造の原文要約

Mamba SSM LLM 2.8B/1.4B + CLIP/SigLIP ViT-Large; MLP姿勢回帰ヘッド(3.7M)で連続SE(3)エンドエフェクタ姿勢、アクショントークン不使用

学習

事前学習アクセラレータ

NVIDIA A100(数は非公開)

事前学習期間

非公開

事前学習ステップ・バッチ

アライメント1 epoch(LLaVA-LCS 558K); 共同学習2 epochs(LLaVA混合655K + RoboVQA 300K)

GPU・TPU時間

非公開

ファインチューニング

A100(数は非公開)、8 epochs(SAPIEN画像10K)、「a few dozen minutes」

データ種類

Web視覚言語 + ロボットVQA + シミュレーション・合成

データ規模

LLaVA-LCS 558K + LLaVA混合655K + RoboVQA 300K; SAPIEN画像10K

主要データセット

LLaVA-LCS 558K、LLaVA混合、RoboVQA、SAPIEN

タスク・評価

SAPIEN操作 seen 63.3%・unseen 53%; RoboVQA

ロボット

SAPIENシミュレーション、実ロボット(機種の記載なし)

推論

推論デバイス・速度

既存VLAより3倍速い(絶対Hzは記載なし)

推論メモリ

非公開

重み bf16(計算)

5.6 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (腕EE姿勢の回帰)

備考

主な特徴

TransformerではなくMamba状態空間モデルをLLMとして使ったVLAである。操作のファインチューニングは数十分で、既存VLAより推論が3倍速いと報告した。

備考

非Transformer比較用の参考行である。パラメータ(B)は最大のMamba LLM(2.8B)基準で、ViT-Lは除外した。リポジトリ・重みの公開有無は確認不可†。

検証

確認