VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

TinyVLA

Midea Group·East China Normal University·Shanghai University·Syracuse University·Beijing Innovation Center of Humanoid Robotics · 2024-09

VLA自己回帰・潜在アクションVLAS 422M / B 740M / H 1.3Bdiffusion

ロボットデータの事前学習なしに小型VLMに拡散ヘッドを付け、LoRA(Transformerパラメータの5.0%)で学習する。

論文

TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic ManipulationarXiv 2409.12514

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2024-09

機関

Midea Group·East China Normal University·Shanghai University·Syracuse University·Beijing Innovation Center of Humanoid Robotics

重み公開

一部

パラメータ

S 422M / B 740M / H 1.3B(学習パラメータ101M/138M/143M)

構造

バックボーンLLM

Pythia (TinyVLA-S/B/H)

ビジョンエンコーダ

LLaVAフレームワークのビジョンエンコーダ

アクションヘッド

拡散方策ヘッド (diffusion)

チャンク

非公開

制御周期

非公開

構造の原文要約

LLaVAフレームワークのPythia LLM(TinyVLA-S/B/H) + 拡散方策ヘッド、7次元連続アクション

学習

事前学習アクセラレータ

該当なし(ロボット事前学習なし; VLM事前学習ハードウェアは非公開)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

非公開(GPU・時間・バッチ・LoRA rankの記載なし)

データ種類

実ロボットのテレオペレーション + シミュレーション・合成 + Web視覚言語(VLM用LLaVAデータ)

データ規模

Franka 課題あたり100軌跡; MetaWorld 50デモ

主要データセット

独自のFranka・UR5テレオペレーション、MetaWorld、LLaVA

タスク・評価

MetaWorld 50タスク31.6%; 実機Franka 5タスク94.0%(OpenVLA比 +25.7%); 双腕UR5 44.5%(OpenVLA 0%)

ロボット

Franka単腕、UR5双腕、MetaWorldシミュレーション

推論

推論デバイス・速度

A6000 1枚で14 ms(TinyVLA-H)、OpenVLA 292 ms

推論メモリ

非公開

重み bf16(計算)

2.6 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (Franka・UR5腕)

備考

主な特徴

ロボットデータの事前学習なしに小型VLMに拡散ヘッドを付け、LoRA(Transformerパラメータの5.0%)で学習する。A6000での遅延は14 msでOpenVLA(292 ms)の約1/20である。

備考

拡散ヘッドVLAで自己回帰トークンモデルではないが、割り当て範囲のため収録した。ベースVLM(約400M/700M/1.3B)のみHFで公開され、方策チェックポイントは確認できなかった。コード公開2025-02-17。パラメータ(B)は最大バリアントTinyVLA-H基準である。

検証

確認