VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

VBC

VBC (Visual Whole-Body Control)

UC San Diego · 2024-03

VA모바일 매니퓰레이션미공개RL 정책

시각 고수준 정책이 베이스 속도와 말단 자세 목표를 내고 다리 관절을 쓰는 RL 저수준 정책이 이를 추종하는 계층형 사족+팔 전신 제어 프레임워크다.

논문

백본 LLM: 없음
비전 인코더: 분할 깊이 CNN 2층(학생) · PointNet 물체 인코더(교사)
액션 헤드: 9차원 회귀(말단 증분 6·전진/요 속도·그리퍼) → RL 저수준 정책 (RL 정책)
청크: 없음 (1스텝)
제어 주기: 고수준 6–8 Hz, 저수준 50 Hz
구조 원문 요약: 고수준 학생: 분할 깊이 CNN(2층)+2층 MLP(교사는 PointNet 물체 인코더, DAgger 증류) → 9차원(말단 자세 증분 6·전진·요 속도 2·그리퍼 1), 6–8 Hz / 저수준: 3층 MLP(128)+이력 적응 모듈 RL 정책 → 다리 12관절 목표 50 Hz, 팔은 말단 명령 IK

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 과제별 시뮬 학습(IsaacGym): 고수준 교사 RL 10,240 env 약 36시간, 학생 DAgger 240 env 약 48시간(GTX4090 기준 단일 GPU; GTX3090도 사용); 저수준 정책 학습 자원·시간 미기재
데이터 종류: 시뮬레이션·합성
데이터 규모: 시뮬 RL 롤아웃만(교사 10,240·학생 240 병렬 env), YCB 33종 물체; 실데이터 없음
주요 데이터셋: YCB 물체 모델(시뮬)
태스크·평가: 시뮬 YCB 33종(7범주) 집기 학생 성공률 0.42–0.74(교사 0.76–0.93, 비계층 기준선 0.0); 실로봇 14개 물체 × 3높이(지면·상자 약 0.3 m·테이블 약 0.5 m) 각 5회, 전 설정에서 기준선 우세(수치는 Fig. 7 그래프)
로봇: Unitree B1 사족 + Unitree Z1 팔, RealSense D435 2대(머리·그리퍼 부근)

추론 장치·속도: 고수준: 외부 Jetson Orin 64GB에서 6–8 Hz(마스크 추적 포함); 저수준·팔 IK: B1 내장 컴퓨터, 50 Hz
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 온보드 Jetson Orin(고수준) + B1 내장 컴퓨터(저수준)

강화학습: 사용 (RL 제어기 학습) · 저수준 다리 정책과 고수준 상태 기반 교사 모두 시뮬 RL(PPO), 깊이 학생은 교사에서 DAgger 증류
강화학습 근거: https://arxiv.org/abs/2403.16967
베이스 제어: 사족보행 (RL 정책이 직접 구동) · 고수준 정책이 베이스 전진·요 속도 + 말단 자세 증분 출력 → RL 저수준 정책이 다리 관절 제어(팔은 IK)

핵심 특징: 시각 고수준 정책이 베이스 속도와 말단 자세 목표를 내고 다리 관절을 쓰는 RL 저수준 정책이 이를 추종하는 계층형 사족+팔 전신 제어 프레임워크다. 특권 상태 RL 교사를 깊이 기반 학생으로 DAgger 증류해 실데이터 수집·파인튜닝 없이 여러 높이·형상의 물체 집기를 실로봇에서 수행했다.
비고: 실로봇 평가 시 목표 물체 마스크를 사람이 TrackingSAM으로 지정; 실로봇 성공률은 그래프로만 제시; 교사 표의 '81.87'은 원문 표기 그대로; 코드와 저수준 가중치만 공개(GitHub), 고수준 가중치 미공개; CoRL 2024 Oral.
검증: 확인