VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

Moto

HKU·Tencent ARC Lab(PCG)·CUHK·UC Berkeley · 2024-12

VA자기회귀·잠재 액션 VLAGPT 백본 98M잠재 액션

영상에서 학습한 잠재 모션 토큰으로 GPT를 사전학습한 뒤 실제 액션으로 연결한다.

논문

Moto: Latent Motion Token as the Bridging Language for Robot ManipulationarXiv 2412.04445

개요

분류

자기회귀·잠재 액션 VLA

유형

VA

발표

2024-12

기관

HKU·Tencent ARC Lab(PCG)·CUHK·UC Berkeley

가중치 공개

예

파라미터

GPT 백본 98M; 토크나이저 크기 미기재

구조

백본 LLM

없음

비전 인코더

VQ-VAE 잠재 모션 토큰

액션 헤드

잠재 모션 토큰 → 액션 (잠재 액션)

청크

미공개

제어 주기

미공개

구조 원문 요약

Moto-GPT(12층·768 hidden); VQ-VAE 잠재 모션 토큰(코드북 128, 프레임 쌍당 8토큰), 공동 파인튜닝으로 모션 토큰과 액션을 함께 예측

학습

사전학습 가속기

'40G GPU' 8장(Moto-GPT), 4장(토크나이저); 모델명 미기재

사전학습 기간

미공개

사전학습 스텝·배치

Moto-GPT 10 epochs·batch 512; 토크나이저 350k(OXE)/150k(CALVIN) steps·batch 256

GPU·TPU-시간

미공개

파인튜닝

'40G GPU' 4장, 3 epochs(RT-1)/18 epochs(CALVIN); 시간 미공개

데이터 종류

실로봇 텔레옵(영상) + 사람 영상

데이터 규모

사전: OXE 109k 궤적 영상 + SSv2 105k 사람 영상; 파인: RT-1 73k·CALVIN 18k 궤적, 실제 90 시연

주요 데이터셋

Open X-Embodiment, Something-Something V2, RT-1, CALVIN

태스크·평가

CALVIN ABC→D 평균 길이 3.10; SIMPLER 종합 0.614; 실제 60%

로봇

RT-1 로봇(SIMPLER), CALVIN 시뮬레이션, 실제 로봇(기종 미기재)

추론

추론 장치·속도

미공개

추론 메모리

미공개

가중치 bf16 (계산)

0.2 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 잠재 모션 사전학습 + 모방학습

베이스 제어

고정 · 베이스 제어 없음 (팔만: SIMPLER Google 로봇은 팔 행동만)

비고

핵심 특징

영상에서 학습한 잠재 모션 토큰으로 GPT를 사전학습한 뒤 실제 액션으로 연결한다. 사전학습 VLM 없이 98M 백본만 쓴다.

비고

사전학습 VLM이 없어 VA로 분류했다. 파라미터(B)는 GPT 백본 98M 기준이다. 검증에서 소속을 HKU·Tencent ARC·CUHK·UC Berkeley로 보완했다.

검증

수정 반영