VLA ギャラリー / モデル一覧 / VA

EgoMimic

Georgia Institute of Technology; Stanford University · 2024-10

VAVA非公開回帰

Project Aria眼鏡で撮った一人称の人のデモとロボットのテレオペレーションを1つの方策で共同学習する。

論文

EgoMimic: Scaling Imitation Learning via Egocentric VideoarXiv 2410.24221

概要

分類

VA

タイプ

VA

発表

2024-10

機関

Georgia Institute of Technology; Stanford University

重み公開

未確認

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet18†

アクションヘッド

SE(3)ポーズ + 関節デコーダ (回帰)

チャンク

100ステップ†

制御周期

25 Hz (推論 1 Hz)

構造の原文要約

ACTベースの共有Transformer(エンコーダ4・デコーダ7層、hidden 512、FF 3200、8ヘッド; ResNet18†) + 人間・ロボット共用SE(3)ポーズデコーダ + ロボット関節デコーダ; チャンク100†

学習

事前学習アクセラレータ

該当なし(人間・ロボット共同学習)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: A40 4枚、120,000 反復、グローバルバッチ 128、約24時間('All models'); lr 5e-5

データ種類

人の動画; 実ロボットのテレオペレーション

データ規模

人: Object-in-Bowl 1,400(60分)、Groceries 160(80分)、Laundry 590(100分); ロボット: 270(120分)、300(300分)、430(300分)

主要データセット

Project Ariaで独自収集した人のデータ; 独自ロボットテレオペレーション

タスク・評価

Continuous Object-in-Bowl, Groceries, Laundry

ロボット

ViperX 300 S双腕 + Project Ariaグラス(人間データ)

推論

推論デバイス・速度

RTX 4090デスクトップで推論1 Hz、制御25 Hz

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 人・ロボットデータの共同模倣学習

ベース制御

固定 · ベース制御なし (ViperX固定双腕)

備考

主な特徴

Project Aria眼鏡で撮った一人称の人のデモとロボットのテレオペレーションを1つの方策で共同学習する。Object-in-Bowlでは人のデータは60分で1,400デモ、ロボットのデータは120分で270デモである。

備考

ResNet18・チャンク100は検証抽出で見つからず確認不可(†)。収集所要時間は分単位でのみ公開されているため時間(h)欄は空欄。

検証

確認