CrossFormer

UC Berkeley·Carnegie Mellon University · 2024-08

VLAナビゲーション130M回帰

20種のエンボディメントの900K軌跡を観測・行動空間を揃えずに単一の130M Transformerで学習し、単腕・双腕、車輪型、四足、クアッドコプターをすべて制御する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: ResNet-26 (ImageNet初期化、FiLM言語条件付け)
アクションヘッド: エンボディメント別L1回帰ヘッド (ナビゲーションのウェイポイント4個・四足関節12次元など) (回帰)
チャンク: ナビのウェイポイント4個 (腕 4・双腕 100・四足 1)
制御周期: ナビ 4 Hz · 四足 20 Hz · 双腕 20 Hz · 腕 5–15 Hz
構造の原文要約: ResNet-26画像トークナイザ(言語FiLM条件付け) + 固有受容覚の線形射影 → 因果Transformer 12層・8ヘッド(512次元、エンボディメント別readoutトークン) → L1回帰ヘッド: ナビ2Dウェイポイント4個(4 Hz)、単腕EEF 4ステップ(5–15 Hz)、双腕関節100ステップ(20 Hz)、四足12次元関節位置1ステップ(20 Hz)

事前学習アクセラレータ: TPU v5e-256 pod
事前学習期間: 47時間(本文3.4節・README)/80時間(付録B)
事前学習ステップ・バッチ: 300kステップ · バッチ512
GPU・TPU時間: 12,032 (換算 · TPU v5e 256チップ × 47時間 (付録Bの80時間を適用すると20,480))
ファインチューニング: 該当なし (評価は事前学習モデルのまま; READMEに微調整スクリプトを提供)
データ種類: 実ロボットのテレオペレーション / 実ロボットの自律走行ログ
データ規模: 900K軌跡・20エンボディメント (図1では30); GNMナビ60時間(サンプリング比率17%)、ALOHA 7K軌跡、Go1歩行25分
主要データセット: Open X-Embodiment(Octo単腕混合); DROID; ALOHA-multi-task; GNM; Go1-walk; Franka-tabletop
タスク・評価: 6ロボットの平均成功率73% (単一ロボット方策67%、既存最良51%); LoCoBot 障害物回避0.95・コーナー0.95・急コーナー0.88 (既存最良手法 0.30・0.85・0.30); Tello コーナー0.82 (ベースライン0.68)
ロボット: WidowX・Franka単腕、ALOHA双腕 (固定); LoCoBot車輪型; Unitree Go1四足; DJI Telloクアッドコプター (飛行データの学習なし)

推論デバイス・速度: ナビ・ドローン: 別サーバーで推論後に無線送信; マニピュレーション: RTX 4090級のローカルGPU; ナビ 4 Hz・四足 20 Hz; 遅延は非公開 (推論速度を限界として言及)
推論メモリ: 非公開
重み bf16(計算): 0.3 GB
実行場所: リモートサーバー (ナビゲーション・ドローン、無線伝送)

強化学習: 一部 (RLデータの活用) · Go1歩行データのみシミュレーションRLエキスパート方策のロールアウトで収集; CrossFormer自体はL1模倣学習
強化学習の根拠: https://arxiv.org/pdf/2408.11812
ベース制御: 車輪型·四足歩行·飛行 (ウェイポイント → 追従制御器) · ナビヘッドが2D相対ウェイポイント4個を出力(LoCoBotはトポロジカルグラフのsubgoal追従、Telloは高度固定) / 四足ヘッドが12次元の脚関節位置を20 Hzで直接出力 / 腕ヘッドはEEF・関節目標

主な特徴: 20種のエンボディメントの900K軌跡を観測・行動空間を揃えずに単一の130M Transformerで学習し、単腕・双腕、車輪型、四足、クアッドコプターをすべて制御する。6ロボットの平均成功率73%で、単一ロボット専用方策(67%)と既存最良のクロスエンボディメント手法(51%)を上回った。
備考: 学習時間は本文・READMEの47hと付録Bの80hで不一致。エンボディメント数は本文20・図1で30と不一致。Go1データはシミュレーションRL専門家方策のロールアウト。言語エンコーダは論文に明記なし(公式設定はUniversal Sentence Encoder)。HFチェックポイント519MB(300kステップ)、MITライセンス。LoCoBotナビゲーションはトポロジカルグラフ・目標画像条件付き。総データ時間は記載なし。ベース: Octo: An Open-Source Generalist Robot Policy (arXiv 2405.12213) — Octoコードベースに基づく (READMEに明記)
検証: 確認