VLA 갤러리 / 모델 목록 / Flow·Diffusion VLA
RDT-1B
Tsinghua University (thu-ml) · 2024-10
VLAFlow·Diffusion VLA1.2Bdiffusion
통합 액션 공간으로 46개 이질적 로봇 데이터셋을 함께 학습한 확산 정책이다.
논문
RDT-1B: a Diffusion Foundation Model for Bimanual ManipulationarXiv 2410.07864
개요
- 분류
- Flow·Diffusion VLA
- 유형
- VLA
- 발표
- 2024-10
- 기관
- Tsinghua University (thu-ml)
- 가중치 공개
- 예
- 파라미터
- 1.2B(논문)/1B(README·모델 카드); 소형 RDT-170M
구조
- 백본 LLM
- 없음 (T5-XXL 텍스트 인코더)
- 비전 인코더
- SigLIP so400m (고정)
- 액션 헤드
- Diffusion Transformer 1.2B (DPM-Solver++ 5스텝) (diffusion)
- 청크
- 64스텝
- 제어 주기
- 25 Hz (README 예)
- 구조 원문 요약
- LLM 없음: frozen SigLIP(so400m) + frozen T5-XXL + Diffusion Transformer; 확산 연속 액션 청크 64스텝, 추론 DPM-Solver++ 5스텝(100에서 축소), README 예시 25 Hz
학습
- 사전학습 가속기
- H100 80GB×48
- 사전학습 기간
- 약 1개월
- 사전학습 스텝·배치
- 1M 스텝 / 배치 논문 미확인†(pretrain.sh 기본값 32, lr 1e-4, bf16)
- GPU·TPU-시간
- 34,560 (환산(약) · H100-시간 (48장 × 약 1개월=30일))
- 파인튜닝
- H100 80GB×48, 3일, 130K 스텝(ALOHA 6K+ 에피소드); finetune.sh 기본 배치 32·200K 스텝, README 권장 150K 스텝 이상
- 데이터 종류
- 실로봇 텔레옵
- 데이터 규모
- 사전학습 46개 데이터셋 1M+ 궤적·21TB; 파인튜닝 6K+ 에피소드·300+ 과제·15+ 방
- 주요 데이터셋
- RT-1(130K), DROID(76K), RH20T(110K) 등 46개; 자체 Mobile ALOHA 데이터
- 태스크·평가
- ALOHA 양팔 실기 7과제(Wash Cup, Pour Water, Pour Water-L-1/3, Pour Water-R-2/3, Handover, Fold Shorts, Robot Dog); ManiSkill(5,000 궤적, 300k iter 파인튜닝); RoboTwin 50과제
- 로봇
- ALOHA(Mobile ALOHA) 양팔 중심, 단일·양팔 교차 엠바디먼트
추론
- 추론 장치·속도
- RTX 4090 24GB 탑재: 청크 6 Hz, 평균 액션 381 Hz
- 추론 메모리
- 미공개
- 가중치 bf16 (계산)
- 2.4 GB
- 실행 위치
- 온보드 (RTX 4090)
강화학습 · 베이스
- 강화학습
- 미사용 · 모방학습(행동 복제)만 사용
- 베이스 제어
- 고정 · 통합 128차원 행동 공간에 베이스 속도 슬롯이 있으나 평가(Mobile ALOHA 양팔 과제)에 베이스 이동 언급 없음
비고
- 핵심 특징
- 통합 액션 공간으로 46개 이질적 로봇 데이터셋을 함께 학습한 확산 정책이다. 양팔 ALOHA 6K+ 에피소드로 파인튜닝했다.
- 비고
- 파라미터 1.2B(논문)/1B(README)로 출처 간 불일치, 파라미터(B)는 논문 값. 논문상 배치·학습률은 검증에서 확인불가. ICLR 2025 포스터.
- 검증
- 확인