VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

ECoT

ECoT (Embodied Chain-of-Thought)

UC Berkeley·Stanford·University of Warsaw · 2024-07

VLA自己回帰・潜在アクションVLA7B離散トークン

アクションの前に計画・サブタスク・物体位置のような具体的な推論を生成し、OpenVLAの絶対成功率を28%高めた。

論文

Robotic Control via Embodied Chain-of-Thought ReasoningarXiv 2407.08693

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2024-07

機関

UC Berkeley·Stanford·University of Warsaw

重み公開

あり

パラメータ

7B(OpenVLAベース)

構造

バックボーンLLM

Llama 2 7B · OpenVLA

ビジョンエンコーダ

SigLIP + DINOv2

アクションヘッド

推論テキスト → 256-binトークン (離散トークン)

チャンク

なし (1ステップ)

制御周期

非公開

構造の原文要約

OpenVLA/Prismatic-7B; 推論テキスト(TASK・PLAN・SUBTASK・MOVE・GRIPPER・OBJECTS、バウンディングボックスを含む)の後に256-binアクショントークン

学習

事前学習アクセラレータ

非公開(READMEの例はGPU 8枚)

事前学習期間

非公開

事前学習ステップ・バッチ

Bridge推論注釈データ 80k steps(ecot-openvla-7b-bridge); バッチ非公開

GPU・TPU時間

非公開

ファインチューニング

OXEバリアント: OXEアクション学習後に推論混合データで20k steps追加; GPU・時間・バッチは非公開

データ種類

実ロボットのテレオペレーション + シミュレーション・合成(合成推論アノテーション)

データ規模

Bridge v2 2.5M+ transitions(注釈エピソード数は非公開)

主要データセット

BridgeData V2、Embodied-CoT/embodied_features_bridge、OXE(変形)

タスク・評価

WidowX汎化評価(手法あたり314回); OpenVLA比で絶対成功率+28%

ロボット

WidowX(Bridge)

推論

推論デバイス・速度

bf16 16 GB、4-bit約5 GB(README); Hzは非公開; 5-step freezeで+24%、非同期で+40%の速度

推論メモリ

bf16 16 GB · 4-bit約5 GB (README)

重み bf16(計算)

14 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 推論テキストを含む教師あり学習

ベース制御

固定 · ベース制御なし (WidowX腕)

備考

主な特徴

アクションの前に計画・サブタスク・物体位置のような具体的な推論を生成し、OpenVLAの絶対成功率を28%高めた。ステップあたりのトークンが7個から約350個に増える。

備考

推論注釈パイプライン(Prismatic-7B・Grounding DINO・OWLv2・SAM・Gemini 1.0)は7日かかった。論文全文にGPU・バッチの記載がない。

検証

確認