VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

AC-DiT

Peking University·Nanjing University·CUHK·Beijing Academy of Artificial Intelligence(BAAI) · 2025-07

VLA모바일 매니퓰레이션미공개diffusion

베이스 행동만으로 먼저 학습한 경량 모빌리티 헤드의 잠재 표현을 전신 행동 생성의 조건으로 넣고(mobility-to-body), 단계별 필요에 따라 2D 이미지와 3D 점군의 가중치를 조절한다.

논문

분류: 모바일 매니퓰레이션
유형: VLA
발표: 2025-07
기관: Peking University·Nanjing University·CUHK·Beijing Academy of Artificial Intelligence(BAAI)
가중치 공개: 아니오
파라미터: 미공개 (모빌리티 헤드 170M; 본 DiT는 공식 코드상 RDT-1B 구성)

백본 LLM: 없음
비전 인코더: SigLIP so400m (손목·가슴 RGB 3시점) + Lift3D식 점군 토크나이저(LoRA)
액션 헤드: 전신 행동 diffusion DiT 헤드 (DDPM, 추론 5스텝·코드) (diffusion)
청크: 2스텝 (시뮬)
제어 주기: 미공개 (실 시연 30 fps)
구조 원문 요약: SigLIP(so400m) 이미지·텍스트 인코더 + Lift3D식 점군 토크나이저(LoRA) → 언어-시각 코사인 유사도로 2D·3D 토큰 가중 → DiT 액션 헤드(공식 코드: RDT-1B 구성 hidden 2048·28층, RDT-1B 초기화); 사전학습 모빌리티 헤드(DiT 170M)의 잠재 베이스 표현을 조건으로 전신 행동 생성; 베이스 속도(절대) + 팔 관절(시뮬은 상대 변화), 청크 2(시뮬), DDPM 추론 5스텝(코드)

사전학습 가속기: 해당 없음 (공식 코드는 외부 RDT-1B 가중치로 초기화)
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 논문 미기재(모빌리티 헤드는 '몇 에폭' 선학습). 공식 코드(ManiSkill-HAB): 모빌리티 헤드 30,000 스텝·GPU당 배치 24·lr 1e-4 → AC-DiT 20,000 스텝·GPU당 배치 16·lr 1e-5·bf16, 두 스크립트 모두 GPU 8개 설정(기종·시간 미기재)
데이터 종류: 시뮬레이션·합성 / 실로봇 텔레옵
데이터 규모: ManiSkill-HAB 과제당 성공 시연 1,000개(RL 에이전트 생성); RoboTwin 과제당 1,000개(모션 플래닝); 실로봇 과제당 100개(30 fps)
주요 데이터셋: ManiSkill-HAB 생성 시연; RoboTwin; 자체 Cobot Magic 시연
태스크·평가: ManiSkill-HAB 7개 서브과제 평균 55.6%(표 1; 본문 48.7%) vs RDT 42.9%·DP 28.8%·3DP 21.6%; RoboTwin 양팔 6과제 평균 90.1(표 2); 실 4개 장기 과제(Cucumber in Basket·Store Breads·Hang Towel·Clean Table) 17회 평가, ACT·π0 대비 최고
로봇: 실 Agilex Cobot Magic(Piper 팔 4개 + Tracer 바퀴형 베이스; 손목·가슴 Orbbec Dabai 3대 + 머리 RealSense L515); 시뮬 ManiSkill-HAB(Fetch, MS-HAB 기준)·RoboTwin 고정 양팔

강화학습: 일부 (RL 데이터 활용) · ManiSkill-HAB 학습 시연을 RL 에이전트(열기·닫기 PPO, 집기·놓기 SAC)로 생성; AC-DiT 자체는 모방학습
강화학습 근거: https://arxiv.org/abs/2507.01961
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 정책이 베이스 속도(절대값)를 팔 관절 행동과 함께 직접 출력

핵심 특징: 베이스 행동만으로 먼저 학습한 경량 모빌리티 헤드의 잠재 표현을 전신 행동 생성의 조건으로 넣고(mobility-to-body), 단계별 필요에 따라 2D 이미지와 3D 점군의 가중치를 조절한다. ManiSkill-HAB에서 RDT·DP·3DP보다 높았고 실 Cobot Magic 4개 장기 과제에서 ACT·π0를 앞섰다.
비고: 논문에 학습·추론 하드웨어와 총 파라미터 미기재; RDT-1B 초기화·스텝·배치는 공식 GitHub 스크립트 기준. ManiSkill-HAB 평균이 표(55.6)와 본문(48.7%)에서 불일치. 코드 2026-02 공개, 학습된 AC-DiT 가중치 미제공. NeurIPS 2025. 기반: RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation (arXiv 2410.07864) — RDT 프레임워크(교차 어텐션 조건 주입)를 따르고 공식 코드가 RDT-1B 가중치로 초기화
검증: 확인