VLA 갤러리 / 모델 목록 / Flow·Diffusion VLA

DexGraspVLA

Peking University Institute for AI, PKU-PsiBot Joint Lab, HKUST(GZ) · 2025-02

VLAFlow·Diffusion VLAcontroller 학습 가능 163Mdiffusion

기성 VLM planner가 목표 물체를 지정하고, 분할 마스크와 DINOv2 특징을 받는 DiT controller가 덱스터러스 핸드 파지를 수행한다.

논문

DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous GraspingarXiv 2502.20900

개요

분류

Flow·Diffusion VLA

유형

VLA

발표

2025-02

기관

Peking University Institute for AI, PKU-PsiBot Joint Lab, HKUST(GZ)

가중치 공개

예

파라미터

controller 학습 가능 163M; planner Qwen2.5-VL-72B(기성 모델)

구조

백본 LLM

Qwen2.5-72B · Qwen2.5-VL-72B 구성 (planner)

비전 인코더

SAM · Cutie · DINOv2 × 2

액션 헤드

DiT 확산 controller (16스텝) (diffusion)

청크

64스텝

제어 주기

20 Hz

구조 원문 요약

계층형: VLM planner(Qwen-VL-Chat, 부록·README는 Qwen2.5-VL-72B-Instruct) + DiT 확산 controller(SAM·Cutie 분할, frozen DINOv2 2개 포함 비전 인코더 3개); 청크 H=64, 추론 16스텝, 20 Hz

학습

사전학습 가속기

해당 없음(대규모 로봇 사전학습 없음)

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

controller 학습: A800×8 서버, 1일 미만, 84 에폭, GPU당 배치 48

데이터 종류

실로봇 시연(kinesthetic teaching)

데이터 규모

성공 에피소드 2,094개, 가정용 물체 36개

주요 데이터셋

자체 수집

태스크·평가

미지 물체 360개·조명 3종·배경 6종 조합 1,287개에서 90.8% 성공

로봇

7-DoF RealMan RM75-6F 팔 + 6-DoF PsiBot 핸드

추론

추론 장치·속도

물체당 파지 평균 약 6 s; planner(72B)는 A800×8 서버에서 GPU 4장·vLLM·speculative decoding(Qwen2.5-VL-7B)으로 서빙

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

원격 서버 (planner)

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (RealMan 팔 + 손)

비고

핵심 특징

기성 VLM planner가 목표 물체를 지정하고, 분할 마스크와 DINOv2 특징을 받는 DiT controller가 덱스터러스 핸드 파지를 수행한다. 미지 조합 1,287개에서 90.8% 성공했다.

비고

파라미터(B)는 시스템 총계 미기재로 null. 단일 end-to-end VLA가 아닌 계층형이며 controller 학습은 과제 학습으로 분류. planner 서빙 비용이 controller 학습 비용보다 큼. 가중치는 controller 체크포인트(planner는 기성 VLM). 기관은 노트의 Psi-Robot 등에서 논문 1쪽 기준으로 수정.

검증

수정 반영