VLA ギャラリー / モデル一覧 / VA

HPT

MIT CSAIL; Meta FAIR · 2024-09

VAVAトランクSmall 3.1M、Base 12.6M、Large 50.5M、XLarge 226.8M、Huge 1.1B回帰

異種ロボット・シミュレーション・人の動画・配備ロボットのデータを共有トランクで事前学習し、エンボディメント間で表現を共有する。

論文

Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained TransformersarXiv 2409.20537

概要

分類

VA

タイプ

VA

発表

2024-09

機関

MIT CSAIL; Meta FAIR

重み公開

一部

パラメータ

トランクSmall 3.1M、Base 12.6M、Large 50.5M、XLarge 226.8M、Huge 1.1B; Base(言語含む) 50.6M(README)

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet18 stem (凍結)

アクションヘッド

MLP回帰ヘッド (回帰)

チャンク

8ステップ

制御周期

非公開

構造の原文要約

エンボディメント別stem(凍結した事前学習済みResNet18特徴 + 固有感覚 → 固定数のトークン、例: 16) + 共有トランクTransformer + ヘッド(基本はMLP回帰; Transformerデコーダ・拡散ヘッドも使用); 行動ホライズン8、観測ホライズン4

学習

事前学習アクセラレータ

V100 8–128枚(実験全体の範囲、モデルサイズ別の内訳なし)

事前学習期間

半日–1か月(実験全体の範囲)

事前学習ステップ・バッチ

基本: 80k 反復・バッチ 256(約0.65B トークン); 拡張: バッチ 2048(反復数は未把握)

GPU・TPU時間

非公開

ファインチューニング

実機 タスクあたりRTX 2080Ti 1枚、20,000反復・バッチ256、約4時間(HPT-Smallトランク、stem・headを再初期化); シミュレーション 20,000反復・バッチ512・lr 1e-5(GPUは記載なし)

データ種類

実ロボットのテレオペレーション; シミュレーション・合成; 人の動画; その他(配備ロボットFrodoBot-2k)

データ規模

基本: 27データセット、16k 軌跡、5M サンプル; 拡張: 52データセット、270k(Table 2)/200k(本文・プロジェクトページ) 軌跡、155M サンプル; ファインチューニングはタスクあたり約100デモ

主要データセット

Open-X 42個(DROIDを含む); シミュレーション7種(Drake, MuJoCo, Isaac Sim, PyBulletなど); EPIC-Kitchens, PoCo; FrodoBot-2k

タスク・評価

シミュレーション: Meta-World, RoboMimic, Fleet-Tools, Simpler; 実機: Sweep Leftover, Fill Water, Scoop Food, Switch Insertion(ペットケア・組み立ての2エンボディメント)

ロボット

事前学習は多数のembodiment(Open-Xなど); 実機ファインチューニングは単腕2種

推論

推論デバイス・速度

RTX 3070でHPT-Base 47 Hz、HPT-XL 19 Hz

推論メモリ

非公開

重み bf16(計算)

2.2 GB

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 教師あり事前学習 + 模倣学習ファインチューニング

ベース制御

固定 · ベース制御なし (実機ファインチューニングは単腕)

備考

主な特徴

異種ロボット・シミュレーション・人の動画・配備ロボットのデータを共有トランクで事前学習し、エンボディメント間で表現を共有する。プロファイルしたVA方策の中で、独立した事前学習段階を設けた唯一のモデルである。

備考

パラメータ(B)はHugeトランク1.1B(stem・headを除く、Huge重みは非公開)。人間動画軌跡はApp. A.1で2,000 vs §4.3で300(異なる節)。言語は任意(T5トークン)で基本モデルではオフ。実機実験のヘッドはMLP・拡散の両方を試行。NeurIPS 2024 Spotlight。

検証

確認