VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

CoT-VLA

Stanford·NVIDIA·MIT · 2025-03

VLA自己回帰・潜在アクションVLA7B離散トークン

サブゴール画像を先に生成する視覚的思考連鎖(visual CoT)VLAである。

論文

CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action ModelsarXiv 2503.22020

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2025-03

機関

Stanford·NVIDIA·MIT

重み公開

未確認

パラメータ

7B(VILA-U)

構造

バックボーンLLM

VILA-U 7B (Llama 2 7Bベース)

ビジョンエンコーダ

VILA-Uビジョントークナイザ

アクションヘッド

サブゴール画像生成 → 256-binトークン (離散トークン)

チャンク

10ステップ

制御周期

非公開

構造の原文要約

VILA-U 7B(理解・生成を統合); サブゴール画像生成後にチャンク10アクション、アクションあたり256-binトークン7個(アクションはfull attention)

学習

事前学習アクセラレータ

A100 96枚(8枚 × 12ノード)

事前学習期間

非公開(総量 11K A100時間のみ明示)

事前学習ステップ・バッチ

10 epochs、global batch 2048、lr 1e-4、256×256画像

GPU・TPU時間

11,000 (明示 · A100時間)

ファインチューニング

A100ノード1つ、10–24 h(データサイズによる)、lr 1e-5・150 epochs

データ種類

実ロボットのテレオペレーション + 人の動画

データ規模

非公開(混合比率のみ: Bridge 24.14%、SSv2 3.45%、EPIC-KITCHENS-100 3.45%)

主要データセット

OXEサブセット、Something-Something V2、EPIC-KITCHENS-100

タスク・評価

LIBERO平均81.13%; Bridge-V2 WidowX; Franka-Tabletop

ロボット

WidowX、Franka、LIBEROシミュレーション

推論

推論デバイス・速度

絶対速度は非公開; チャンク10基準で平均7倍遅くなる

推論メモリ

非公開

重み bf16(計算)

14 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · サブゴール画像生成 + 模倣学習

ベース制御

固定 · ベース制御なし (WidowX・Franka腕)

備考

主な特徴

サブゴール画像を先に生成する視覚的思考連鎖(visual CoT)VLAである。画像トークン256個を先に生成するため、チャンク10基準で平均7倍遅くなる。

備考

重み公開の有無は確認不可†(プロジェクトページのリンクはarXivのみ)。

検証

確認