VLA ギャラリー / モデル一覧 / VA

InterACT

UC Davis; UC Berkeley · 2024-09†

VAVA非公開回帰

双腕間の相互依存を階層的アテンションとアームごとのデコーダ同期でモデル化したACT系の方策である。

論文

InterACT: Inter-dependency Aware Action Chunking with Hierarchical Attention Transformers for Bimanual ManipulationarXiv 2409.07914

概要

分類

VA

タイプ

VA

発表

2024-09†

機関

UC Davis; UC Berkeley

重み公開

未確認

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet18

アクションヘッド

マルチアームデコーダ (同期ブロック) (回帰)

チャンク

50ステップ

制御周期

50 Hz

構造の原文要約

ResNet18 + 階層的アテンションエンコーダ(セグメント内3層・セグメント間3層、セグメント別CLSトークン) + マルチアームデコーダ(並列2経路4層、同期ブロック1層); hidden 512、8ヘッド、FF 3200; チャンク50、関節位置・RGB 50 Hz

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: GPU・時間・エポックは非公開; バッチ 8、lr 1e-5

データ種類

シミュレーション・合成; 実ロボットのテレオペレーション

データ規模

タスクあたり50デモ

主要データセット

独自収集(シミュレーション・実機)

タスク・評価

シミュレーション3タスク(Transfer Cube, Peg Insertion, Slot Insertion); 実機6タスク(Slide Ziploc, Thread Velcro, Insert Plug, Click Pen, Sweep, Unscrew Cap)

ロボット

双腕(機種はノートに記載なし)

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (双腕)

備考

主な特徴

双腕間の相互依存を階層的アテンションとアームごとのデコーダ同期でモデル化したACT系の方策である。タスクあたり50デモで学習する。

備考

タスク区分の修正を反映(シミュレーション3 + 実機6)。発表月v1は確認不可(†、arXiv ID 2409と一致)。採用度が低いためACT系のデータポイントとして収録。

検証

修正反映