VLA 갤러리 / 모델 목록 / 2026 신규

LingBot-VLA 2.0

Robbyant (Ant Group) · 2026-07

VLA2026 신규약 6.38Bflow matching

LingBot-VLA를 개선해 로봇 20종 구성의 궤적 50,000시간과 1인칭 사람 영상 10,000시간, 모두 약 60,000시간으로 사전학습하고 머리·허리·이동 베이스·손 자유도까지 55차원 통합 행동 공간으로 다룬다.

논문

From Foundation to Application: Improving VLA Models in PracticearXiv 2607.06403

개요

분류

2026 신규

유형

VLA

발표

2026-07

기관

Robbyant (Ant Group)

가중치 공개

예

파라미터

약 6.38B(HF safetensors 6,375,907,511, fp32; 체크포인트명 6b; Qwen3-VL-4B 백본 + sparse-MoE 액션 전문가, 활성 파라미터 미기재)

구조

백본 LLM

Qwen3-VL-4B-Instruct

비전 인코더

Qwen3-VL 내장 비전 인코더(학습 시 동결 안 함)

액션 헤드

sparse-MoE 액션 전문가(Qwen2식, 36층, 공유 1+라우팅 32개 top-4) flow matching 10스텝 (flow matching)

청크

50스텝(실로봇 배포 예시 25 실행)

제어 주기

미공개 (1회 추론 약 130 ms, RTX 4090D)

구조 원문 요약

Qwen3-VL-4B-Instruct VLM(인과 어텐션) + 현재·미래 쿼리 2개(LingBot-Depth·DINO-Video 증류) → sparse-MoE 액션 전문가(Qwen2식, 36층 전부 MoE, 공유 1+라우팅 32개 중 top-4) flow matching(추론 10스텝) → 55차원 통합 상태·행동(팔·EEF·그리퍼·손·허리·머리·베이스) 청크 50

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

RoboTwin 2.0 사후학습 공개 config: 32 GPU, 배치 1,024, 50k 스텝, Muon lr 1e-4, L1 flow matching(GPU 기종·총 시간 미기재); 단일 노드 H20 사후학습 반복 5.93 s/it(Muon)·4.31 s/it(Distributed Muon); 실로봇 config 배치 256·60k 스텝; 4×A6000 예시는 GPU당 약 49 GB 이상 필요(README)

데이터 종류

실로봇 텔레옵 / 사람 영상

데이터 규모

사전학습 약 60,000시간: 로봇 20종 구성 50,000시간(원시 약 90,000시간에서 필터링) + 1인칭 사람 영상 10,000시간(원시 약 20,000시간에서 필터링); DINO-Video는 영상 클립 5M개로 학습

주요 데이터셋

자체 수집 20종 로봇 데이터; 1인칭 사람 영상(공개 데이터·자체 데이터, Ant Digital Technologies Phecda Laboratory·Genrobot.ai 제공); GM-100; RoboTwin 2.0

태스크·평가

GM-100 9과제 범용(혼합 학습) 진행/성공: AgileX Cobot Magic 66.2/34.4(π0.5 59.1/32.2, LingBot-VLA 1.0 58.2/30.0), Galaxea R1 Pro 34.6/15.6(π0.5 27.4/8.9); 장기 모바일 매니퓰레이션(15회): Astribot S1 냉장고 정리 ID 77.1/60.0·OOD 37.0/13.3, Cobot Magic-ARX X5 가스레인지 청소 ID 84.3/66.7·OOD 67.5/40.0(모두 π0.5보다 높음); RoboTwin 2.0 clean 93.52%·randomized 92.80%

로봇

평가: AgileX Cobot Magic, Galaxea R1 Pro, Astribot S1, Cobot Magic-ARX X5; 사전학습 20종: Franka, Flexiv Rizon 4, AgileX, ARX Lift2, UR7e, AgiBot G1, Galbot G1, Moz1, Realman Rs-02, Galaxea R1Pro·R1Lite, Astribot S1, Zerith H1, Leju KUAVO 4 Pro, Tienkung, QingLong, MagicBot Gen1, Unitree G1, Fourier GR-2, AgiBot A2

추론

추론 장치·속도

RTX 4090D에서 1회 추론 약 130 ms(10 denoising 스텝, torch.compile, 실로봇 배포 시 청크 중 25스텝 실행); 공개 체크포인트 검증은 FP32 추론, BF16은 메모리가 적지만 성공률이 달라질 수 있음(README); 깊이·영상 교사는 추론에 쓰지 않음

추론 메모리

가중치 fp32 공개(약 6.38B); 검증은 FP32 추론, BF16은 메모리 절감(수치 미기재)

가중치 bf16 (계산)

12.8 GB

실행 위치

RTX 4090D 추론 서버(README 예시)

강화학습 · 베이스

강화학습

미사용 · flow matching 지도학습(사전학습·사후학습), 깊이·영상 특징 증류는 보조 손실

강화학습 근거

https://arxiv.org/html/2607.06403

베이스 제어

바퀴형 (베이스 속도·자세 직접 출력) · 통합 행동 벡터의 이동 신호 3차원(LeRobot 변환본 표기 base.velocity)을 팔·허리·머리와 함께 청크로 직접 출력; 장기 과제는 Astribot S1·Cobot Magic-ARX X5 이동 베이스로 평가(바퀴형은 로봇 사양 기준, 논문은 'mobile base'로만 표기)

비고

핵심 특징

LingBot-VLA를 개선해 로봇 20종 구성의 궤적 50,000시간과 1인칭 사람 영상 10,000시간, 모두 약 60,000시간으로 사전학습하고 머리·허리·이동 베이스·손 자유도까지 55차원 통합 행동 공간으로 다룬다. 액션 전문가에 sparse MoE를 넣고 현재·미래 쿼리를 LingBot-Depth·DINO-Video로 증류해 미래 예측을 보조 과제로 학습한다.

비고

하위 과제 주석은 Qwen3.6-27B로 자동 생성(18개 원자 행동 어휘); 사람 영상은 SLAM·손 자세 추정으로 MANO 손 궤적을 복원; 절대 관절보다 상대 관절 행동, MeanStd 정규화, L2(MSE) flow matching이 좋았다는 ablation 보고; 사전학습은 loss-free MoE 부하 균형(DeepSeek-V3식 편향), 사후학습 config는 시퀀스 보조 손실·z-loss 사용; 코드·가중치(robbyant/lingbot-vla-v2-6b, RoboTwin 사후학습본 lingbot-vla-v2-6b-robotwin) Apache-2.0, LeRobot 변환본(lerobot/lingbot_vla_v2_base) 있음; arXiv v1 2026-07-07. 기반: A Pragmatic VLA Foundation Model (arXiv 2601.18692) — 이전 버전 LingBot-VLA를 개선(논문 명시)

검증

확인