01 · 추론 자원
추론에 필요한 자원
GPU 메모리
가중치(파라미터 × 정밀도 바이트)에 활성값·KV 캐시·이미지 토큰이 더해집니다. 보고값은 bf16 가중치 계산값과 같거나 최대 약 4 GB 큽니다.
지연 시간
VLM 순전파에 액션 생성이 더해집니다. 자기회귀 토큰은 토큰 수만큼(π0-FAST 청크당 약 750 ms), flow·diffusion 헤드는 디노이징 스텝 수만큼(π0 10스텝 73 ms) 걸립니다.
제어 주파수
액션 청크를 한 번에 내고 나눠 실행해 추론 주기보다 빠르게 제어합니다. π0는 73 ms 추론으로 최대 50 Hz, GR00T N1은 120 Hz, Helix S1은 200 Hz입니다.
실행 위치
로봇 탑재(Jetson·임베디드 GPU), 로봇 옆 PC(RTX 4090), 원격 서버(A100·H100), 클라우드(TPU·Gemini API)로 나뉩니다. 큰 VLM은 서버에, 빠른 제어기는 로봇에 둡니다.
출처: 각 모델의 논문·README·모델 카드 보고값(카드의 ‘추론 메모리’). 선은 계산값이며 활성값·KV 캐시는 포함하지 않습니다.
장치 등급별 보고된 추론 속도
02 · 메모리 계산기
이 모델을 돌리려면 GPU 메모리가 얼마나 필요한가
모델을 고르거나 파라미터 수를 넣으면 정밀도별 가중치 메모리를 계산하고, 보고된 실측값과 대표 장치 메모리를 함께 보여 줍니다.
03 · 내 장치
이 장치에서 쓸 만한 속도로 도는 모델
장치, 정밀도, 필요한 추론 속도를 고르면 메모리에 올라가고 그 속도를 낼 것으로 보이는 모델을 골라 줍니다. 토큰형 VLA는 행동 하나에 토큰 여러 개를 내야 해서 ‘토큰 속도 ÷ 행동당 토큰 수’가 추론 속도가 되고, flow·diffusion 모델은 백본 1회와 디노이징 여러 번을 더한 시간이 추론 1회입니다.
장치 사양과 출처
04 · 백본 LLM
VLA의 백본 LLM
백본 LLM 계열이 확인된 모델만 셉니다. ‘구성’ 표시는 논문이 VLM 이름만 밝혀 그 VLM의 공개 구성에서 LLM을 적은 경우입니다.
계열별 모델과 백본
05 · 강화학습
강화학습을 어디에 썼나
‘사용’은 모델 자체를 RL로 학습·개선한 경우, ‘일부’는 하위 제어기·RL 생성 데이터·보상·가치 모델처럼 시스템 일부에만 RL을 쓴 경우입니다. 근거는 논문·공식 블로그 문장이며, 학습 과정을 밝히지 않은 모델은 미공개로 두었습니다.
VLA RL 사후학습
모방학습한 VLA·정책을 RL로 한 번 더 개선합니다. 매니퓰레이션은 π*0.6(RECAP)·GR-RL·SyVLA·GEN-1, 내비게이션은 VLN-R1·ABot-N0·LightNav-0(GRPO 계열)과 VLingNav·TIC-VLA·RING·COMPASS(PPO 계열), 사족 VLA는 MoRE(오프라인 RL)가 해당합니다.
RL 제어기 학습
휴머노이드 전신 제어기와 사족 loco-manipulation 제어기(VBC·RoboDuet·SLIM)를 시뮬레이션에서 PPO 등으로 학습하고 학생 정책으로 증류합니다. GPU 1장으로 1~4일이 흔하고, SONIC은 GPU 128장을 썼습니다.
RL 하위 제어기 결합
VLA는 모방학습으로 두고 보행·전신 실행을 RL 제어기에 맡깁니다. GR00T N1.5·N1.6(Decoupled WBC), Helix·Helix 02, Ψ0, WholeBodyVLA와 보행 로봇 VLA인 QUAR-VLA·NaVILA가 해당합니다.
데이터·보상·가치
RL 정책이 만든 데이터로 학습하거나(π0.7, Rho-alpha, AC-DiT, CrossFormer), 보상 모델·DPO·가치 예측을 학습에 넣습니다(DYNA-1, NORA-1.5, Cosmos Policy).
06 · 모바일 베이스
모바일 베이스를 어떻게 움직이나
바퀴형 모바일 매니퓰레이션
π0·π0.5·Mobile ALOHA·BRS·AC-DiT·PanoVLA는 베이스 속도(선속도·각속도 또는 x·y·yaw)를 팔 행동과 함께 한 정책에서 직접 냅니다. MoManipVLA는 예외로, 고정 베이스용 VLA는 그대로 두고 베이스 위치를 최적화로 정합니다.
내비게이션 VA·VLA
대부분 상대 웨이포인트 몇 개를 내고 PD·MPC·pure pursuit 제어기가 속도 명령으로 바꿉니다(ViNT·NoMaD·NavFoM·InternVLA-N1·TrackVLA·ABot-N0). VLM 기반 모델은 VLN-CE 벤치마크 방식대로 ‘25 cm 전진·15°/30° 회전·정지’ 같은 이산 행동을 텍스트로 내는 쪽(NaVid·Uni-NaVid·StreamVLN·FutureNav)과 웨이포인트를 내는 쪽(NavFoM·InternVLA-N1·ABot-N0·LightNav-0)으로 나뉩니다.
사족보행
사족 모바일 매니퓰레이션은 VLA나 고수준 정책이 몸체 속도·자세 명령만 내고, 다리 관절은 시뮬레이션 RL로 학습한 보행 제어기가 맡습니다(QUAR-VLA·MoRE의 Walk These Ways, VBC, SLIM, UMI on Legs). 사족 내비게이션 모델은 대부분 웨이포인트나 속도 명령만 내고 로봇에 내장된 보행 제어기가 따라가며, NaVILA는 RL 보행 정책을 직접 학습해 붙였습니다. 모방학습 정책이 다리 관절까지 직접 내는 예는 CrossFormer(Go1) 하나입니다.
휴머노이드 보행
VLA는 보행 명령(vx·vy·yaw)이나 잠재 행동을 내고 RL로 학습한 전신 제어기가 다리를 움직이는 계층 구조가 표준입니다(GR00T N1.6·N1.7, WholeBodyVLA, Ψ0, OpenHLM, ω-0). Atlas LBM은 발 자세를 내서 MPC로 실행하고, Gemini Robotics 2는 별도 보행 제어기를 밝히지 않았습니다.
칸의 숫자는 그 방식으로 그 종류의 베이스를 움직인 모델 수이고, 색이 진할수록 많습니다. 한 모델이 여러 종류를 움직이면 칸마다 셉니다. ‘기타’는 비행 로봇과 시뮬레이션에서만 베이스를 움직인 경우입니다. 분류 근거는 각 논문·공식 문서의 행동 공간 서술이며, 카드의 ‘베이스 제어’ 항목에 한 줄로 적었습니다.
07 · 두 모델 비교
두 모델 나란히 보기
카드의 ‘비교 A’·‘비교 B’ 버튼이나 아래 목록으로 모델을 고르면 구조도와 사양을 나란히 놓습니다. 값이 같은 행은 흐리게 표시합니다.
08 · 갤러리
모델 갤러리
분류·발표 시기·크기·백본 LLM·액션 헤드·추론 정보·논문 유무·베이스 종류로 거릅니다. 카드 위쪽의 논문 제목을 누르면 arXiv 원문이 열리고, ‘자세히’에서 태스크·데이터·학습 설정을 확인합니다.
조건에 맞는 모델이 없습니다. 필터를 초기화해 보세요.