VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

LLaRA

Stony Brook University·University of Wisconsin–Madison · 2024-06

VLA自己回帰・潜在アクションVLA7B離散トークン

ロボット行動をLLaVA対話形式のテキストに変換し、6種の補助自己教師ありデータで学習する。

論文

LLaRA: Supercharging Robot Learning Data for Vision-Language PolicyarXiv 2406.20095

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2024-06

機関

Stony Brook University·University of Wisconsin–Madison

重み公開

あり

パラメータ

7B(LLaVA-1.5-7B)

構造

バックボーンLLM

Vicuna 7B · LLaVA-1.5構成

ビジョンエンコーダ

CLIP ViT-L (固定)

アクションヘッド

テキストで座標・回転を出力 (離散トークン)

チャンク

非公開

制御周期

非公開

構造の原文要約

LLaVA-1.5-7B(ビジョンエンコーダ固定); アクションをテキストで出力(正規化2D画像座標 + 回転角度)

学習

事前学習アクセラレータ

該当なし(ロボット事前学習なし)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

論文: batch 32(VIMA-0.8k/8k)/128(VIMA-80k)、lr 最大 2e-5、GPU・時間は非公開; README: フルFTは24GB以上のAmpere GPU 4枚 + RAM 300GB(A5000 4枚で検証)、LoRAは24GB GPU 1枚

データ種類

シミュレーション・合成 + 実ロボット(xArm)

データ規模

VIMAエキスパート軌跡0.8k/8k/80k; 補助・xArmのサンプル数は非公開

主要データセット

VIMA-Bench, xArm-Det, xArm-Action

タスク・評価

VIMA-Bench L1–L3(20 seeds); 実機xArm(設定あたり20エピソード)

ロボット

VIMA-Benchシミュレーション、xArm

推論

推論デバイス・速度

24GB GPU 1枚(README); 速度は非公開

推論メモリ

24 GB GPU 1枚で実行 (README)

重み bf16(計算)

14 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 指示チューニング(教師あり学習)

ベース制御

固定 · ベース制御なし (xArm腕・シミュレーション)

備考

主な特徴

ロボット行動をLLaVA対話形式のテキストに変換し、6種の補助自己教師ありデータで学習する。ロボット事前学習なしにVLMを直接ファインチューニングする。

備考

ハードウェアは論文ではなくREADMEの要件である。

検証

確認