VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

3D-VLA

UMass Amherst·SJTU·SCUT·Wuhan University·MIT·UCLA·MIT-IBM Watson AI Lab · 2024-03

VLA자기회귀·잠재 액션 VLA미공개이산 토큰

3D 장면 이해와 목표 상태 생성(확산 월드 모델)을 액션 토큰 예측과 결합했다.

논문

3D-VLA: A 3D Vision-Language-Action Generative World ModelarXiv 2403.09631

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2024-03

기관

UMass Amherst·SJTU·SCUT·Wuhan University·MIT·UCLA·MIT-IBM Watson AI Lab

가중치 공개

일부

파라미터

미공개(BLIP2-FlanT5-XL 기반)

구조

백본 LLM

FlanT5-XL · BLIP2 구성

비전 인코더

3D 특징 (3D-LLM 설계)

액션 헤드

이산 액션 토큰 + 목표 이미지·점군 확산 (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

3D-LLM 설계, BLIP2-FlanT5-XL; 이산 액션 토큰(<aloc0-255>·<arct0-255>·<gripper0/1>) + 목표 이미지·깊이·점구름 확산 모델

학습

사전학습 가속기

LLM: '6 × 32 V100s'(정렬 단계 '6 × 64 V100s'); 목표 LDM: V100 192장/96장; Point-E: V100 32장

사전학습 기간

LLM 미공개; RGB 목표 LDM 3주, RGB-D LDM 2주

사전학습 스텝·배치

LLM 30 epochs, 노드당 batch 4(정렬 단계 최대 20 epochs, batch 2); LDM 360k/100k steps; Point-E 200 epochs

GPU·TPU-시간

미공개

파인튜닝

미공개

데이터 종류

실로봇 텔레옵 + 시뮬레이션·합성 + 사람 영상

데이터 규모

3D-언어-액션 쌍 2M; 에피소드 316k

주요 데이터셋

OXE 12개 데이터셋, RLBench, CALVIN, Dobb-E, RH20T, Epic-Kitchens, HOI4D

태스크·평가

RLBench(Put Knife 68%, Take Umbrella 52%, Pick Cup 40%); CALVIN(단일 과제 44.7%, 2연속 16.3%)

로봇

RLBench·CALVIN 시뮬레이션

추론

추론 장치·속도

미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 지도학습

베이스 제어

고정 · 베이스 제어 없음 (RLBench·CALVIN 팔 시뮬)

비고

핵심 특징

3D 장면 이해와 목표 상태 생성(확산 월드 모델)을 액션 토큰 예측과 결합했다. 로봇 데이터와 사람-물체 상호작용 영상에서 3D-언어-액션 쌍 2M개를 만들었다.

비고

'6 × 32 V100s'는 원문 그대로이며 6노드×32장인지 총 192장인지 모호하다. 목표 LDM(192 V100·3주)은 정책과 별개 확산 모델이라 GPU-시간 칸에 넣지 않았다. 확산 목표 모델만 HF에 공개됐다.

검증

확인