VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

TraceVLA

University of Maryland·Microsoft Research · 2024-12

VLA自己回帰・潜在アクションVLA7B離散トークン

点追跡軌跡を画像プロンプトとして入れるvisual trace promptingで時空間認識を高めた。

論文

TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic PoliciesarXiv 2412.10345

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2024-12

機関

University of Maryland·Microsoft Research

重み公開

あり

パラメータ

7B(OpenVLAベース); 4B Phi-3V変形

構造

バックボーンLLM

Llama 2 7B (OpenVLA) / Phi-3-Vision 4B

ビジョンエンコーダ

SigLIP + DINOv2 + CoTracker軌跡画像

アクションヘッド

256-binトークン (離散トークン)

チャンク

非公開

制御周期

非公開

構造の原文要約

OpenVLA(Prismatic-7B)またはPhi-3-Vision 4B; CoTrackerの視覚軌跡を重ねた追加画像入力、OpenVLA式離散アクショントークン

学習

事前学習アクセラレータ

該当なし(7BはOpenVLAチェックポイント、4BはPhi-3-Vision重みから開始)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

7B: GPU 64枚(READMEスクリプト、8ノード×8)、OpenVLAから5 epochs追加; Phi3-4B: H100 32枚、30 epochs、batch 4096; 時間は非公開

データ種類

実ロボットのテレオペレーション(視覚軌跡アノテーションを含む)

データ規模

約150K軌跡 + WidowX-250デモ120件

主要データセット

BridgeData V2, Fractal

タスク・評価

SimplerEnv 137設定で47.7%(OpenVLA 40.2%); 実機WidowX-250 seen・unseen各4タスク

ロボット

WidowX-250、SimplerEnvシミュレーション

推論

推論デバイス・速度

OpenVLAの速度 + 追加トークン約0.002 s、CoTracker(M=5) ステップあたり0.03 s

推論メモリ

非公開

重み bf16(計算)

14 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (WidowX腕)

備考

主な特徴

点追跡軌跡を画像プロンプトとして入れるvisual trace promptingで時空間認識を高めた。SimplerEnv 137設定で47.7%とOpenVLA(40.2%)を上回った。

備考

軌跡アノテーションデータでOpenVLAを継続学習するため、別途のロボット事前学習はない。パラメータ(B)は7B変種基準である。v3 PDFの所属にCapital Oneもあるという1回の抽出結果がある†。

検証

確認