VLA 갤러리 / 모델 목록 / VA

Data Scaling Laws

Tsinghua University; Shanghai Qi Zhi Institute; Shanghai AI Lab · 2024-10

VAVA396M 초과diffusion

UMI로 4만 건 넘는 시연을 모아 일반화가 환경·물체 수의 거듭제곱 법칙을 따름을 보였다.

논문

Data Scaling Laws in Imitation Learning for Robotic ManipulationarXiv 2410.18647

개요

분류

VA

유형

VA

발표

2024-10

기관

Tsinghua University; Shanghai Qi Zhi Institute; Shanghai AI Lab

가중치 공개

예

파라미터

396M 초과(비전 인코더 + 노이즈 예측망)

구조

백본 LLM

없음

비전 인코더

DINOv2 ViT-L/14 (미세조정)

액션 헤드

CNN U-Net 확산 (diffusion)

청크

16스텝

제어 주기

5 Hz

구조 원문 요약

미세조정 DINOv2 ViT-L/14 + CNN U-Net 확산 정책; 행동 지평 16, 이미지 관측 지평 2(Pour Water·Unplug Charger 3), 환경 주파수 5

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별: 최대 데이터셋 정책 A800 8장, 75 에폭(5×10^5 스텝), 75시간; 배치 256

데이터 종류

사람 영상(UMI 핸드헬드 그리퍼 시연)

데이터 규모

총 40,000+ 데모; 공개 정책은 환경-물체 32쌍 × 환경당 50데모

주요 데이터셋

UMI로 자체 수집

태스크·평가

Pour Water, Mouse Arrangement, Fold Towels, Unplug Charger; 실로봇 롤아웃 15,000회+; 수집자 4명 한나절 데이터로 새 환경·새 물체 2과제 약 90% 성공

로봇

Franka Emika Panda + Weiss WSG-50, 손목 GoPro

추론

추론 장치·속도

RTX 4090(24GB) 워크스테이션

추론 메모리

미공개

가중치 bf16 (계산)

0.8 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 사람 핸드헬드 시연 모방학습

베이스 제어

고정 · 베이스 제어 없음 (Franka 팔)

비고

핵심 특징

UMI로 4만 건 넘는 시연을 모아 일반화가 환경·물체 수의 거듭제곱 법칙을 따름을 보였다. 데이터 양보다 다양성이 중요하다고 결론냈다.

비고

파라미터(B)는 하한값(396M 초과). 단일 과제 정책, 언어 없음. 4개 과제 정책 Hugging Face 공개. ICLR 2025.

검증

확인