VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

ACT

Stanford University; UC Berkeley; Meta · 2023-04

VA参照ベースライン(2024年以前)約80MCVAE

行動チャンクを一度に回帰し、時間アンサンブルで重なった予測を平均する低コスト双腕模倣学習方策である。

論文

Learning Fine-Grained Bimanual Manipulation with Low-Cost HardwarearXiv 2304.13705

概要

分類

参照ベースライン(2024年以前)

タイプ

VA

発表

2023-04

機関

Stanford University; UC Berkeley; Meta

重み公開

なし

パラメータ

約80M

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet18

アクションヘッド

関節位置チャンクの回帰 + 時間アンサンブル (CVAE)

チャンク

100ステップ

制御周期

50 Hz

構造の原文要約

ResNet18 + CVAE Transformer(エンコーダ4層・デコーダ7層、hidden 512、FF 3200、8ヘッド、潜在32次元); 関節位置チャンクk=100回帰、指数重み付き時間アンサンブル、50 Hz

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: RTX 2080 Ti(11GB) 1枚、約5時間; バッチ 8、lr 1e-5、KL重み 10; エポックは論文に記載なし(README: シミュレーション例 2000、実機は5000以上を推奨)

データ種類

実ロボットのテレオペレーション; シミュレーション・合成

データ規模

実機 タスクあたり50デモ(Thread Velcroは100)、エピソード8–14秒(400–700ステップ)、タスクあたり約10–20分; シミュレーション タスクあたり50デモ(スクリプト・人)

主要データセット

ALOHA自社収集

タスク・評価

実機6タスク(Slide Ziploc, Slot Battery, Open Cup, Thread Velcro, Prep Tape, Put On Shoe); シミュレーション2タスク(Transfer Cube, Bimanual Insertion)

ロボット

ALOHA低コスト双腕(リーダー・フォロワー遠隔操作)、システム2万ドル未満

推論

推論デバイス・速度

約0.01秒(RTX 2080 Ti)

推論メモリ

非公開

重み bf16(計算)

0.2 GB

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 模倣学習(CVAE行動クローニング)

ベース制御

固定 · ベース制御なし (ALOHA 固定双腕)

備考

主な特徴

行動チャンクを一度に回帰し、時間アンサンブルで重なった予測を平均する低コスト双腕模倣学習方策である。2万ドル未満のALOHA機材とタスクあたり50デモで精密な双腕作業を学習した。

備考

計算量の数値はすべてタスク別。データ長は分単位(タスクあたり約10–20分)でのみ公開されており時間(h)欄は空欄。コード・シミュレーションデータは公開、チェックポイントなし。

検証

確認