Dita

Shanghai AI Lab, Zhejiang University, CUHK MMLab, Peking University, SenseTime Research, Tsinghua University, HKISI/CAS · 2024-10†

VLAFlow·Diffusion VLA334Mdiffusion

언어·이미지·timestep·노이즈 액션 토큰을 한 causal transformer 시퀀스에 넣는 in-context 조건화로 확산 디노이징을 한다.

논문

분류: Flow·Diffusion VLA
유형: VLA
발표: 2024-10†
기관: Shanghai AI Lab, Zhejiang University, CUHK MMLab, Peking University, SenseTime Research, Tsinghua University, HKISI/CAS
가중치 공개: 예
파라미터: 334M(학습 가능 221M); LoRA 시 약 11M 학습

백본 LLM: 없음 (CLIP 텍스트 인코더)
비전 인코더: DINOv2 + Q-Former
액션 헤드: in-context 확산 디노이징 (DDIM 10) (diffusion)
청크: 16스텝
제어 주기: 3 Hz (실기)
구조 원문 요약: LLM 없음: frozen CLIP 텍스트 + DINOv2 + Q-Former(depth 4) + causal transformer(12블록, hidden 768); in-context 확산 디노이징(DDPM 1000 학습, DDIM 20→10스텝), 2프레임 관측→16스텝 청크, 실기 3 Hz

사전학습 가속기: A100×32(4노드×8)
사전학습 기간: 미공개
사전학습 스텝·배치: 100,000 스텝, 배치 8192(GPU당 256), AdamW, lr 1e-4(transformer·Q-Former)/1e-5(DINOv2)
GPU·TPU-시간: 미공개
파인튜닝: LIBERO A100×8·배치 512·100K 스텝; CALVIN A100×4·배치 128·15 에폭; ManiSkill2 A100×16·배치 1024·50K 스텝; Franka 10-shot LoRA 20K 스텝·배치 512(GPU 미공개); 시간 모두 미공개
데이터 종류: 실로봇 텔레옵 + 시뮬레이션(ManiSkill2 자체 생성 40K+ 궤적, 파인튜닝·평가용)
데이터 규모: OXE(oxe_magic_soup_plus, 궤적 수 미공개); 실기 과제당 10 샘플
주요 데이터셋: Open X-Embodiment, DROID(별도 사전학습판)
태스크·평가: SimplerEnv coke can 0.837/0.855, move near 0.760/0.730, drawer 0.463/0.375; LIBERO 84.2/96.3/85.4/63.8, 평균 82.4%; CALVIN ABC→D 3.61; ManiSkill2; Franka 10-shot 실기(2단계 과제 63.8%)
로봇: Franka(단일 팔); 시뮬레이션

핵심 특징: 언어·이미지·timestep·노이즈 액션 토큰을 한 causal transformer 시퀀스에 넣는 in-context 조건화로 확산 디노이징을 한다. 334M으로 OXE 사전학습 후 Franka에서 과제당 10샘플로 적응했다.
비고: 발표월은 이전판 arXiv 2410.15959 기준(제출일 날짜줄 확인불가†); 본판 2503.19757 v1은 2025-03-25. 소속은 노트의 RoboDita 팀에서 논문 1쪽 기준으로 수정. ManiSkill2 과제별 수치는 추출 불일치로 제외.
검증: 수정 반영