VLA 갤러리 / 모델 목록 / Flow·Diffusion VLA

DiVLA (Diffusion-VLA)

Midea Group, East China Normal University, Shanghai University · 2024-12

VLAFlow·Diffusion VLADiVLA-2B / 7B / 72B 변형diffusion

VLM이 생성한 추론 문장을 FiLM으로 확산 정책 헤드에 주입하며, GPT-4o로 학습 데이터를 추론 포함 형식으로 바꿨다.

논문

Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and AutoregressionarXiv 2412.03293

개요

분류

Flow·Diffusion VLA

유형

VLA

발표

2024-12

기관

Midea Group, East China Normal University, Shanghai University

가중치 공개

미확인

파라미터

DiVLA-2B / 7B / 72B 변형(본문 Qwen2-VL 설명은 '2B, 8B, 72B'); 헤드 크기 미공개

구조

백본 LLM

Qwen2 1.5B / 7B / 72B · Qwen2-VL-2B/7B/72B 구성

비전 인코더

Qwen2-VL ViT

액션 헤드

Diffusion Policy 헤드 + FiLM 추론 주입 (diffusion)

청크

미공개

제어 주기

미공개

구조 원문 요약

Qwen2-VL 백본 + 무작위 초기화 Diffusion Policy 헤드(Chi et al. 2023 설계) + FiLM 추론 주입 모듈; 청크 길이 미공개

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

GPU·시간 미공개; lr 2e-5 고정, 20 에폭(DiVLA·OpenVLA 중 적용 대상은 원문도 모호)

데이터 종류

실로봇 텔레옵 + GPT-4o 생성 추론 주석

데이터 규모

사전학습 DROID(2B·7B), OXE+DROID(72B), 규모 미기재; 파인튜닝 분류 500, 멀티태스크 580, bussing 400 궤적

주요 데이터셋

DROID, Open X-Embodiment

태스크·평가

Franka 공장 분류 전체 평균 66.2%; 미지 물체 102개 제로샷 bin picking 63.7%; AgileX 양팔 table bussing seen 72.9%

로봇

Franka(단일 팔), AgileX(양팔)

추론

추론 장치·속도

A6000 1장: DiVLA-2B 82 Hz, 7B 42 Hz(vLLM 없이 74/30 Hz); OpenVLA보다 6배 빠름

추론 메모리

미공개

가중치 bf16 (계산)

144 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (Franka·AgileX 양팔 조작)

비고

핵심 특징

VLM이 생성한 추론 문장을 FiLM으로 확산 정책 헤드에 주입하며, GPT-4o로 학습 데이터를 추론 포함 형식으로 바꿨다. 미지 물체 102개 제로샷 bin picking에서 63.7%를 냈다.

비고

파라미터(B)는 최대 변형 DiVLA-72B 이름 기준(헤드 포함 여부 불명). 본문 '2B, 8B, 72B'는 Qwen2-VL 크기 설명으로 변형명과 다름(원문 불일치). DexVLA 저장소에 DiVLA 학습 스크립트(2025-03-11) 추가.

검증

확인