VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

NORA

SUTD(DeCLaRe Lab)·Lambda Labs · 2025-04

VLA自己回帰・潜在アクションVLA3B離散トークン

Qwen2.5-VL-3BにFAST+アクショントークンを加えた3Bの自己回帰VLAである。

論文

NORA: A Small Open-Sourced Generalist Vision Language Action Model for Embodied TasksarXiv 2504.19854

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2025-04

機関

SUTD(DeCLaRe Lab)·Lambda Labs

重み公開

あり

パラメータ

3B

構造

バックボーンLLM

Qwen2.5-3B · Qwen2.5-VL-3B構成

ビジョンエンコーダ

Qwen2.5-VL ViT

アクションヘッド

FAST+トークン (離散トークン)

チャンク

1 (NORA) · 5 (Long)

制御周期

非公開

構造の原文要約

Qwen2.5-VL-3B; FAST+トークナイザ(語彙2048個追加)、チャンク1(NORA)/5(NORA-Long)、7-DoFアクション

学習

事前学習アクセラレータ

H100 8枚(1ノード)

事前学習期間

約3週間

事前学習ステップ・バッチ

1.1M steps、batch 256、50k stepsのウォームアップ後に最大lr 5e-5、コサイン減衰

GPU・TPU時間

4,000 (明示(約) · H100時間)

ファインチューニング

150 epochs、batch 128、lr 5e-5; ハードウェア・時間は非公開

データ種類

実ロボットのテレオペレーション

データ規模

970kデモ

主要データセット

Open X-Embodiment

タスク・評価

実機WidowX-250 9タスク 56.7%; LIBERO 87.9%(NORA-Long)

ロボット

WidowX-250、LIBEROシミュレーション

推論

推論デバイス・速度

GPUメモリ 約8.3 GB; 遅延は非公開

推論メモリ

約8.3 GB

重み bf16(計算)

6 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (WidowX腕・LIBERO)

備考

主な特徴

Qwen2.5-VL-3BにFAST+アクショントークンを加えた3Bの自己回帰VLAである。H100 8枚の1ノードで約3週間事前学習した。

備考

検証で所属にLambda Labsを補完した。後続のNORA-1.5がある。

検証

修正反映