VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

PanoVLA

Beihang University·Beijing Institute for General Artificial Intelligence(BIGAI)·Shandong University·Johns Hopkins University·Delta Intelligence · 2026-08

VLA모바일 매니퓰레이션미공개flow matching

π0.5에 파노라마 전문가를 끼운 Mixture-of-Transformers로 360° 파노라마의 전역 공간 맥락을 로컬 카메라 뷰와 융합하고, 단일 VR 전신 텔레옵으로 바퀴형 양팔 로봇 데이터를 모은다.

논문

Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body TeleoperationarXiv 2608.02257

개요

분류

모바일 매니퓰레이션

유형

VLA

발표

2026-08

기관

Beihang University·Beijing Institute for General Artificial Intelligence(BIGAI)·Shandong University·Johns Hopkins University·Delta Intelligence

가중치 공개

미확인

파라미터

미공개 (파노라마 전문가 100M; π0.5 백본 Gemma-2B)

구조

백본 LLM

Gemma-2B · π0.5 VLM 구성

비전 인코더

SigLIP (로컬 뷰) + MTPano (파노라마, 동결)

액션 헤드

flow matching 액션 전문가 (π0.5 계승) (flow matching)

청크

32스텝

제어 주기

미공개 (데이터 25 Hz)

구조 원문 요약

π0.5 기반 3-전문가 Mixture-of-Transformers: VLM 전문가(SigLIP 로컬 뷰 + Gemma-2B) + 파노라마 전문가 100M(이중 어안 → 등장방형 파노라마, 동결 MTPano 특징) + flow matching 액션 전문가; 17차원 상대 행동(양팔 관절·그리퍼 14 + 베이스 평면 속도·yaw 속도 3) 32스텝 청크; 데이터 25 Hz

학습

사전학습 가속기

해당 없음 (π0.5에서 미세조정)

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

A100 4장, 30K 스텝·GPU당 배치 64(bf16, lr 5K 스텝 워밍업 후 5e-5 고정), LM·MTPano 동결, 학습 시간 미공개

데이터 종류

실로봇 텔레옵

데이터 규모

4과제 × 200 = 800 궤적, 약 5.5시간·약 500k 프레임(25 Hz, 궤적당 20–30초)

주요 데이터셋

자체 VR 전신 텔레옵 데이터셋(Move Pen·Move Block·Open Curtain·Wipe Table)

태스크·평가

실 4과제 각 15회: Move Pen SR 86.7%, Move Block 93.3%, Open Curtain 66.7%, Wipe Table 46.7%; 평균 SCR 91.3%·SR 73.4% (π0.5 58.6%·30.0%, π0.5 w/ Pano 80.8%·56.7%)

로봇

바퀴형 양팔: RANGER MINI 3 베이스 + Agilex PIPER 6-DoF 팔 2개·평행 그리퍼; 상단 360° 파노라마 카메라·전방 RGB·손목 카메라 2대

추론

추론 장치·속도

실로봇 평가 시 RTX 4090 1장에서 폐루프 실행; 지연·제어 주파수 미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

RTX 4090 1장

강화학습 · 베이스

강화학습

미사용 · 모방학습(flow matching)만

베이스 제어

바퀴형 (베이스 속도·자세 직접 출력) · 정책이 베이스 평면 속도·yaw 속도(3-DoF)를 양팔 관절과 함께 32스텝 청크로 직접 출력

비고

핵심 특징

π0.5에 파노라마 전문가를 끼운 Mixture-of-Transformers로 360° 파노라마의 전역 공간 맥락을 로컬 카메라 뷰와 융합하고, 단일 VR 전신 텔레옵으로 바퀴형 양팔 로봇 데이터를 모은다. 실 4과제에서 평균 단계 완료율 91.3%·종단 성공률 73.4%로 π0.5(58.6%·30.0%)를 크게 앞섰다.

비고

텔레옵: VR 헤드셋·양손 컨트롤러·허리/발목 트래커 3개 → SMPL 복원 → GMR 리타깃(베이스는 3-DoF 평면 가상 floating base). π0.5 체크포인트명·총 파라미터·디노이징 스텝·학습 시간 미공개. 논문에 코드·데이터·가중치 공개 언급 없음. 기반: π0.5: a Vision-Language-Action Model with Open-World Generalization (arXiv 2504.16054) — π0.5 이중 전문가 백본에 파노라마 전문가를 삽입해 구성

검증

확인