VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

SG-VLA

Lambda, Inc.·UC San Diego · 2026-03

VLA모바일 매니퓰레이션1.3B이산 토큰

로봇 전역 자세·관절 구성·파지 성공·목표 물체 자세·분할 마스크를 복원하는 보조 디코더를 VLA와 단계적으로 공동학습해 공간 grounding을 강화한다.

논문

백본 LLM: Qwen2.5-0.5B · Prismatic VLM 구성
비전 인코더: DINOv2 + SigLIP (Prismatic; RGB·깊이 멀티뷰)
액션 헤드: 이산 행동 토큰 + 보조 디코더 5종; 선택형 flow matching 전문가 100M (10스텝) (이산 토큰)
청크: 미공개(토큰 경로) / flow 헤드 8스텝 중 2 실행
제어 주기: 미공개
구조 원문 요약: Prismatic VLM(DINOv2 + SigLIP 융합 인코더, Qwen2.5-0.5B LLM); 헤드·손 멀티뷰 RGB·깊이·과거 4스텝 이력 입력; 13차원 행동(베이스 자세 ΔX 3·토르소 높이 1·팔 관절 Δq 7·그리퍼 2)을 이산 행동 토큰으로 예측; 선택형 flow matching 전문가 100M(청크 8 중 2 실행, 디노이징 10스텝); 보조 디코더 5종 공동학습

사전학습 가속기: 해당 없음 (사전학습 Prismatic VLM에서 과제 데이터로 바로 학습)
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: A100 8장, 3단계(디코더 적응→공동 정제→VLM 동결 후 액션 헤드 단독), 6개 서브과제 10 에폭(분할 디코더 모델은 pick·place 5 에폭)·전역 배치 512·Adam lr 2e-5 고정, 시간 미공개
데이터 종류: 시뮬레이션·합성
데이터 규모: 44K 에피소드·1.4M transition
주요 데이터셋: ManiSkill-HAB 데이터 생성 파이프라인(TidyHouse·PrepareGroceries·SetTable)
태스크·평가: ManiSkill-HAB(TidyHouse·PrepareGroceries·SetTable → Pick·Place·Open·Close) 과제당 30회: 평균 0.73(보조과제 없음 0.60, 단순 공동학습 0.51, flow 헤드 0.69; OpenVLA 0.04, 멀티뷰+깊이 OpenVLA 0.32); 실로봇 실험 없음
로봇: ManiSkill-HAB 시뮬 모바일 매니퓰레이터(MS-HAB 기준 Fetch; SG-VLA 논문은 로봇명 미기재), 베이스·토르소·7관절 팔·그리퍼 13차원 제어

강화학습: 일부 (RL 데이터 활용) · 학습 데이터를 ManiSkill-HAB 생성 파이프라인(RL 정책 시연 + 규칙 기반 필터링)으로 생성; 정책 자체는 모방학습
강화학습 근거: https://arxiv.org/abs/2412.13211
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 정책이 베이스 자세 변화(ΔX 3차원)를 토르소·팔·그리퍼와 함께 13차원 행동으로 직접 출력(시뮬)

핵심 특징: 로봇 전역 자세·관절 구성·파지 성공·목표 물체 자세·분할 마스크를 복원하는 보조 디코더를 VLA와 단계적으로 공동학습해 공간 grounding을 강화한다. ManiSkill-HAB 가정 과제 평균 성공률 0.73으로 보조과제 없는 멀티뷰·깊이 모델(0.60)보다 22% 높았고 OpenVLA(0.04)를 크게 앞섰다.
비고: 시뮬 전용(결론에서 실세계 적용을 향후 과제로 언급). 논문에 코드·가중치 공개 언급 없고 검색에서도 저장소 미발견. 이력 길이 표기가 '4 timesteps'와 '4 actions'로 혼재. 학습 시간·추론 속도 미공개. 컴퓨트는 Lambda 지원. 기반: Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models (arXiv 2402.07865) — 사전학습 Prismatic VLM을 백본으로 사용
검증: 확인