TRI LBM 1.0

Toyota Research Institute · 2025-07

VLA産業界モデル非公開diffusion

LLM・VLMなしでCLIP言語条件を受けるdiffusion transformer方策である。

論文

バックボーンLLM: なし (CLIPテキストエンコーダ)
ビジョンエンコーダ: CLIP ViT-B/16
アクションヘッド: AdaLN DiT 8ブロック (拡散) (diffusion)
チャンク: 16 (8実行)
制御周期: 10 Hz
構造の原文要約: CLIP ViT-B/16画像CLS + CLIPテキストエンコーダ → AdaLN条件付きDiffusion Transformer 8ブロック(埋め込み768); 16ステップ×20次元の行動予測、8ステップ実行後に再計算

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 48k steps、global batch 2560、lr 3e-4(一定)
GPU・TPU時間: 非公開
ファインチューニング: GPU・時間は非公開; 実機課題30k steps、シミュレーション課題10k steps、global batch 320、lr 2e-5
データ種類: 実ロボットのテレオペレーション + シミュレーションのテレオペレーション + UMIハンドヘルドデモ + 公開ロボットデータ(OXE)
データ規模: 約1,700 h(要旨; §IIIでは~1695 h): TRI-Ramen 545 h・532 tasks・64,262 demos(Real 468 h・362 tasks・46,063 / Sim 45 h・41 tasks・7,348 / UMI 32 h・129 tasks・10,851) + OXE-Ramen 約1,150 h
主要データセット: TRI-Ramen(Real・Sim・UMI、内部)、OXE-Ramen(Open X-Embodimentを精製)
タスク・評価: 実ロボット1,800 rollouts(タスク・方策・条件あたり50)、シミュレーション47,000+ rollouts(条件あたり200); シミュレーションでscratch比30%未満のデータで済む; 実ロボットで15%のデータにより全量学習の単一タスクbaselineを統計的に上回る
ロボット: 双腕Franka FR3 + 平行グリッパー(finray型の指)、ステーション9台、カメラ最大6台; シミュレーション

主な特徴: LLM・VLMなしでCLIP言語条件を受けるdiffusion transformer方策である。実ロボット1,800回・シミュレーション47,000回以上のrolloutsをベイズ検定とCLDで評価した。
備考: シミュレーション評価のタスク数は出典ごとに異なる: 論文 16 seen + 8 unseen、プロジェクトページ 16 seen + 5 unseen(実機含め29タスク)。方策の重みの代わりにシミュレーションベンチマークlbm_eval(49 tasks)を公開、方策の重み公開の有無は検証で確認不可。プロジェクトページの表現は'3-5× less data'。論文・ページにGPUの記述なし。
検証: 確認