VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

NORA

SUTD(DeCLaRe Lab)·Lambda Labs · 2025-04

VLA자기회귀·잠재 액션 VLA3B이산 토큰

Qwen2.5-VL-3B에 FAST+ 액션 토큰을 더한 3B 자기회귀 VLA다.

논문

NORA: A Small Open-Sourced Generalist Vision Language Action Model for Embodied TasksarXiv 2504.19854

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-04

기관

SUTD(DeCLaRe Lab)·Lambda Labs

가중치 공개

예

파라미터

3B

구조

백본 LLM

Qwen2.5-3B · Qwen2.5-VL-3B 구성

비전 인코더

Qwen2.5-VL ViT

액션 헤드

FAST+ 토큰 (이산 토큰)

청크

1 (NORA) · 5 (Long)

제어 주기

미공개

구조 원문 요약

Qwen2.5-VL-3B; FAST+ 토크나이저(어휘 2048개 추가), 청크 1(NORA)/5(NORA-Long), 7-DoF 액션

학습

사전학습 가속기

H100 8장(1노드)

사전학습 기간

약 3주

사전학습 스텝·배치

1.1M steps, batch 256, 50k steps 워밍업 후 최고 lr 5e-5, 코사인 감쇠

GPU·TPU-시간

4,000 (명시(약) · H100-시간)

파인튜닝

150 epochs, batch 128, lr 5e-5; 하드웨어·시간 미공개

데이터 종류

실로봇 텔레옵

데이터 규모

970k 시연

주요 데이터셋

Open X-Embodiment

태스크·평가

실제 WidowX-250 9과제 56.7%; LIBERO 87.9%(NORA-Long)

로봇

WidowX-250, LIBERO 시뮬레이션

추론

추론 장치·속도

GPU 메모리 약 8.3 GB; 지연 미공개

추론 메모리

약 8.3 GB

가중치 bf16 (계산)

6 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (WidowX 팔·LIBERO)

비고

핵심 특징

Qwen2.5-VL-3B에 FAST+ 액션 토큰을 더한 3B 자기회귀 VLA다. H100 8장 1노드로 약 3주 사전학습했다.

비고

검증에서 소속에 Lambda Labs를 보완했다. 후속 NORA-1.5가 있다.

검증

수정 반영