TRI LBM 1.0

Toyota Research Institute · 2025-07

VLA산업계 모델미공개diffusion

LLM·VLM 없이 CLIP 언어 조건을 받는 diffusion transformer 정책이다.

논문

백본 LLM: 없음 (CLIP 텍스트 인코더)
비전 인코더: CLIP ViT-B/16
액션 헤드: AdaLN DiT 8블록 (확산) (diffusion)
청크: 16 (8 실행)
제어 주기: 10 Hz
구조 원문 요약: CLIP ViT-B/16 이미지 CLS + CLIP 텍스트 인코더 → AdaLN 조건 Diffusion Transformer 8블록(임베딩 768); 16스텝×20차원 행동 예측, 8스텝 실행 후 재계산

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 48k steps, global batch 2560, lr 3e-4(상수)
GPU·TPU-시간: 미공개
파인튜닝: GPU·시간 미공개; 실로봇 과제 30k steps, 시뮬레이션 과제 10k steps, global batch 320, lr 2e-5
데이터 종류: 실로봇 텔레옵 + 시뮬레이션 텔레옵 + UMI 핸드헬드 시연 + 공개 로봇 데이터(OXE)
데이터 규모: 약 1,700 h(초록; §III는 ~1695 h): TRI-Ramen 545 h·532 tasks·64,262 demos(Real 468 h·362 tasks·46,063 / Sim 45 h·41 tasks·7,348 / UMI 32 h·129 tasks·10,851) + OXE-Ramen 약 1,150 h
주요 데이터셋: TRI-Ramen(Real·Sim·UMI, 내부), OXE-Ramen(Open X-Embodiment 정제)
태스크·평가: 실로봇 1,800 rollouts(과제·정책·조건당 50), 시뮬레이션 47,000+ rollouts(조건당 200); 시뮬레이션에서 scratch 대비 데이터 30% 미만 필요; 실로봇에서 데이터 15%로 전량 학습 단일과제 baseline을 통계적으로 상회
로봇: 양팔 Franka FR3 + 평행 그리퍼(finray형 손가락), 스테이션 9대, 카메라 최대 6대; 시뮬레이션

핵심 특징: LLM·VLM 없이 CLIP 언어 조건을 받는 diffusion transformer 정책이다. 실로봇 1,800회·시뮬레이션 47,000회 이상 rollouts를 베이지안 검정과 CLD로 평가했다.
비고: 시뮬레이션 평가 과제 수가 출처마다 다름: 논문 16 seen + 8 unseen, 프로젝트 페이지 16 seen + 5 unseen(실기 포함 29과제). 정책 가중치 대신 시뮬레이션 벤치마크 lbm_eval(49 tasks) 공개, 정책 가중치 공개 여부는 검증 확인불가. 프로젝트 페이지 표현 '3-5× less data'. 논문·페이지에 GPU 문장 없음.
검증: 확인