VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

3D-VLA

UMass Amherst·SJTU·SCUT·Wuhan University·MIT·UCLA·MIT-IBM Watson AI Lab · 2024-03

VLA自己回帰・潜在アクションVLA非公開離散トークン

3Dシーン理解と目標状態生成(拡散ワールドモデル)をアクショントークン予測と結合した。

論文

3D-VLA: A 3D Vision-Language-Action Generative World ModelarXiv 2403.09631

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2024-03

機関

UMass Amherst·SJTU·SCUT·Wuhan University·MIT·UCLA·MIT-IBM Watson AI Lab

重み公開

一部

パラメータ

非公開(BLIP2-FlanT5-XLベース)

構造

バックボーンLLM

FlanT5-XL · BLIP2構成

ビジョンエンコーダ

3D特徴 (3D-LLM設計)

アクションヘッド

離散アクショントークン + 目標画像・点群の拡散 (離散トークン)

チャンク

非公開

制御周期

非公開

構造の原文要約

3D-LLM設計、BLIP2-FlanT5-XL; 離散アクショントークン(<aloc0-255>・<arct0-255>・<gripper0/1>) + 目標画像・深度・点群の拡散モデル

学習

事前学習アクセラレータ

LLM: '6 × 32 V100s'(アライメント段階 '6 × 64 V100s'); 目標LDM: V100 192枚/96枚; Point-E: V100 32枚

事前学習期間

LLMは非公開; RGB目標LDM 3週間、RGB-D LDM 2週間

事前学習ステップ・バッチ

LLM 30 epochs、ノードあたりbatch 4(アライメント段階は最大20 epochs、batch 2); LDM 360k/100k steps; Point-E 200 epochs

GPU・TPU時間

非公開

ファインチューニング

非公開

データ種類

実ロボットのテレオペレーション + シミュレーション・合成 + 人の動画

データ規模

3D-言語-アクションのペア2M; エピソード316k

主要データセット

OXE 12データセット、RLBench、CALVIN、Dobb-E、RH20T、Epic-Kitchens、HOI4D

タスク・評価

RLBench(Put Knife 68%、Take Umbrella 52%、Pick Cup 40%); CALVIN(単一タスク44.7%、2連続16.3%)

ロボット

RLBench・CALVINシミュレーション

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 教師あり学習

ベース制御

固定 · ベース制御なし (RLBench・CALVIN腕シミュレーション)

備考

主な特徴

3Dシーン理解と目標状態生成(拡散ワールドモデル)をアクショントークン予測と結合した。ロボットデータと人-物体相互作用動画から3D-言語-アクションのペア2M個を作成した。

備考

「6 × 32 V100s」は原文どおりで、6ノード×32枚か計192枚かは曖昧である。目標LDM(192 V100・3週間)は方策とは別の拡散モデルのためGPU時間欄に含めていない。拡散目標モデルのみHFで公開された。

検証

確認