VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

RoboFlamingo

ByteDance Research·Tsinghua University·SJTU·NUS · 2023-11

VLA자기회귀·잠재 액션 VLAOpenFlamingo 3B/4B/9B회귀

VLM은 고정하고 resampler·교차 어텐션·정책 헤드만 학습하는 연속 액션 VLA다.

논문

Vision-Language Foundation Models as Effective Robot ImitatorsarXiv 2311.01378

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2023-11

기관

ByteDance Research·Tsinghua University·SJTU·NUS

가중치 공개

예

파라미터

OpenFlamingo 3B/4B/9B; 학습 파라미터 1B(Table 2)

구조

백본 LLM

MPT·RedPajama 계열 · OpenFlamingo 3B/9B

비전 인코더

CLIP ViT-L/14

액션 헤드

LSTM 정책 헤드 (연속 6-DoF) (회귀)

청크

미공개

제어 주기

미공개

구조 원문 요약

OpenFlamingo(CLIP ViT-L/14 + MPT·RedPajama LLM) + LSTM 정책 헤드; 연속 액션(6-DoF 상대 자세 MSE + 그리퍼 BCE)

학습

사전학습 가속기

해당 없음(OpenFlamingo VLM 가중치 사용)

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

A100(80G) 8장 서버 1대, GPU당 batch 6; MPT-3B 에폭당 13 h(3에폭째 최고), MPT-9B 에폭당 26 h(4에폭째 최고)

데이터 종류

시뮬레이션·합성

데이터 규모

CALVIN 플레이 데이터, 언어 주석 1%(약 24k 스텝)

주요 데이터셋

CALVIN

태스크·평가

CALVIN ABCD→D 평균 길이 4.09(HULC 3.06, RT-1 2.45); ABC→D 2.475(README)

로봇

CALVIN 시뮬레이션

추론

추론 장치·속도

Hz 미공개; 오픈루프 액션 시퀀스 예측으로 연산 절감

추론 메모리

미공개

가중치 bf16 (계산)

18 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (CALVIN 팔 시뮬)

비고

핵심 특징

VLM은 고정하고 resampler·교차 어텐션·정책 헤드만 학습하는 연속 액션 VLA다. 로봇 사전학습 없이 언어 주석이 1%인 CALVIN 데이터로 학습한다.

비고

2023-11 발표로 2024~2025 범위 밖이지만 배정 모델이라 포함했다. 이산 토큰이 아닌 연속 회귀 VLA이며, 파라미터(B)는 최대 변형 9B 기준이다.

검증

확인