RDT2

RDT2 (RDT2-FM / RDT2-VQ)

Tsinghua University (thu-ml) · 2025-09

VLAFlow·Diffusion VLA총계 미공개flow matching

로봇 텔레옵 대신 개량 UMI 핸드헬드 장치로 100여 가정에서 모은 사람 시연 약 1만 시간으로 학습했다.

논문

백본 LLM: Qwen2.5-7B · Qwen2.5-VL-7B 구성
비전 인코더: Qwen2.5-VL ViT
액션 헤드: flow 전문가 약 400M (FM) / RVQ 토큰 (VQ) (flow matching)
청크: 24 (README) / 32 (논문)
제어 주기: 30 Hz
구조 원문 요약: Qwen2.5-VL-7B-Instruct + 약 400M RDT 계열 flow matching 액션 전문가(RDT2-FM); RDT2-VQ는 Residual VQ 토큰 자기회귀; 청크 24스텝(README, 30 fps 0.8초)/32스텝(논문 배포), 데이터 30 Hz

사전학습 가속기: GPU 기종 미공개(App. D.5: 7노드×GPU 8)
사전학습 기간: 미공개
사전학습 스텝·배치: RDT2-VQ 128K iter, RDT2-FM 66K iter, GPU당 배치 96, lr 1e-4(App. D.5: global 5,376 / 2,304)
GPU·TPU-시간: 미공개
파인튜닝: 1노드 GPU×8(기종 미공개), 50K 스텝, global 배치 96; UltraFast 증류 20K 스텝 동일 하드웨어; README: RDT2-FM 전문가 파인튜닝 ~16 GB(RTX 4090), RDT2-VQ LoRA >32 GB(A100 40GB), Full >80 GB(A100 80GB/H100/B200)
데이터 종류: 사람 영상(UMI 핸드헬드 시연) + 웹 비전-언어
데이터 규모: UMI 시연 10,000 h 이상(초록·본문)/약 10,000 h(부록 B.1), 100+ 가정; VL QA 12M+ 쌍
주요 데이터셋: 자체 UMI 데이터; Ego4D, HD-EPIC, RoboVQA, RoboBrain(QA)
태스크·평가: 제로샷 4U: Pick, Pick & Place, Wiping, Shaking, Button Pressing; 파인튜닝: 옷 접기, Table Bussing, Unzipping, 동적 버튼 누르기, 탁구(256 trials)
로봇: UMI 그리퍼 인터페이스(엠바디먼트 무관); 양팔 UR5e, 양팔 Franka FR3에서 검증

핵심 특징: 로봇 텔레옵 대신 개량 UMI 핸드헬드 장치로 100여 가정에서 모은 사람 시연 약 1만 시간으로 학습했다. 미지 로봇·장면·물체·지시(4U) 제로샷 실행과 1스텝 증류판 UltraFast를 제시했다.
비고: 모델 공개 2025-09(README), 논문 arXiv 2026-02-03. App. D.5 문장은 ablation 절에 있어 본 학습 지칭 여부 모호. flow 범위는 RDT2-FM이며 RDT2-VQ는 자기회귀. 청크 24(README)/32(논문) 모두 원문 값.
검증: 확인