VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

Octo

UC Berkeley·Stanford·CMU·Google DeepMind · 2023-12

VA自己回帰・潜在アクションVLA27Mdiffusion

事前学習済みVLMなしでOXE 800kエピソードにより学習した汎用VA方策である。

論文

Octo: An Open-Source Generalist Robot PolicyarXiv 2405.12213

概要

分類

自己回帰・潜在アクションVLA

タイプ

VA

発表

2023-12

機関

UC Berkeley·Stanford·CMU·Google DeepMind

重み公開

あり

パラメータ

27M(Small)/93M(Base)、T5-base 111Mを除く; 2023-12技術レポートTable 4ではBase 86M

構造

バックボーンLLM

なし (T5-baseテキストエンコーダ)

ビジョンエンコーダ

ViTパッチトークン

アクションヘッド

拡散ヘッド (3層MLP、20ステップ) (diffusion)

チャンク

4ステップ (ファインチューニングの既定)

制御周期

5・10・15 Hz (ロボット別)

構造の原文要約

ViT-S/BサイズのTransformer + T5-base言語エンコーダ(111M); 拡散アクションヘッド(3層MLP、20ステップ)、アクションチャンク(ファインチューニングのデフォルト4)、観測履歴2フレーム

学習

事前学習アクセラレータ

TPU v4-128 pod

事前学習期間

Base 14 h(論文); Small 8 h(README)

事前学習ステップ・バッチ

300k steps, batch 2048(ViT-B)

GPU・TPU時間

1,792 (換算 · TPU v4コア-時間 (128 × 14 h、Octo-Base))

ファインチューニング

A5000(24GB) 1枚で約5 h(50k steps、目標デモ約100個); リポジトリ既定 batch 256、head_only・head_mlp_only・fullモード

データ種類

実ロボットのテレオペレーション

データ規模

800kエピソード(OXE 25データセット); 前処理データ約1.2TB(README)

主要データセット

Open X-Embodiment(Fractal・Kuka・Bridge 各17.0%の重み)

タスク・評価

4機関の9つの実機セットアップ(WidowX BridgeV2、UR5 TableTop、RT-1 Robot、Berkeley Bimanualなど); LIBERO平均75.1%(二次情報、OpenVLA README)

ロボット

WidowX、UR5、RT-1ロボット、双腕セットアップなど9セットアップ; 評価制御周期5・10・15 Hz

推論

推論デバイス・速度

RTX 4090 1枚でBase 13 it/s、Small 17 it/s(README); 論文には推論速度なし

推論メモリ

非公開

重み bf16(計算)

0.2 GB

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · OXEデータの模倣学習

ベース制御

固定 · ベース制御なし (腕EE行動; RT-1ロボットも腕のみ)

備考

主な特徴

事前学習済みVLMなしでOXE 800kエピソードにより学習した汎用VA方策である。モジュール型アテンションにより、新しいセンサ・行動空間に合わせてファインチューニングできる。

備考

発表月はリポジトリのv0.1.0タグ(2023-12-14)と技術レポート基準で、arXiv v1は2024-05-20である。パラメータ(B)はOcto-Base(T5除く)基準で、GPU・TPU時間はTPU v4-128の128をコア数とみなして換算した。

検証

確認