VLA 图库模型列表图库

VLA 图库 / 模型列表

211 个机器人 VA/VLA 模型列表

2022–2026 年 211 个机器人 VA/VLA 模型的规格页面:骨干 LLM、动作头、训练 GPU 与数据、推理设备与内存、强化学习和底盘控制。

参考基线(2024年以前)8 个模型

RT-12022-12不使用预训练VLM、通过FiLM以语言指令为条件的35M真实机器人策略。
RT-22023-07将预训练VLM与机器人数据及网络VQA·描述数据联合微调,以文本token输出动作。
RT-1-X2023-10以OXE 9个embodiment混合数据训练RT-1结构的跨embodiment模型。
RT-2-X2023-10将RT-2与原VLM数据和OXE机器人混合以约1:1混合进行联合微调。
ACT2023-04一次性回归动作块并用时间集成对重叠预测取平均的低成本双臂模仿学习策略。
Diffusion Policy (CNN)2023-03通过扩散去噪生成动作序列,以处理多峰动作分布的策略。
Diffusion Policy (Transformer)2023-03以Transformer去噪器实现与CNN变体相同扩散策略的变体。
GR-12023-12以大规模人类视频的未来帧预测进行预训练,再用机器人数据联合学习动作和未来图像。

VA17 个模型

Mobile ALOHA2024-01在低成本全身遥操作移动双臂系统上与静态ALOHA数据联合训练,每项任务用20–50个演示学习移动操作。
ALOHA Unleashed2024-10用按任务训练的扩散Transformer、每个任务数千条遥操作演示进行学习,完成了系鞋带等精细双臂作业。
HPT2024-09用共享trunk预训练异构机器人·仿真·人类视频·配送机器人数据,在embodiment之间共享表征。
BAKU2024-06在1块消费级GPU上以每基准6–26小时训练约10M参数的多任务策略。
VQ-BeT2024-03将连续动作转换为分层残差VQ码,无需迭代去噪即可一次预测。
ScaleDP2024-09†将扩散策略Transformer从10M扩大到1B,报告了性能提升。
UMI2024-02用装有GoPro的手持夹爪在无机器人的情况下采集演示,并迁移到机器人策略。
DP32024-03用小型MLP编码稀疏点云,每项任务约10个演示即可训练的3D扩散策略。
Data Scaling Laws2024-10用UMI采集4万多条演示,表明泛化遵循环境·物体数量的幂律。
RISE2024-04用稀疏3D卷积编码单视角点云,经Transformer和扩散头输出动作。
Robot Utility Models (RUM)2024-09用BoM 25美元的iPhone采集工具在约40个环境中每任务收集约1,000条演示,零样本部署到新环境。
EgoMimic2024-10将用Project Aria眼镜拍摄的第一人称人类演示与机器人遥操作在一个策略中联合训练。
InterACT2024-09†以分层注意力与逐臂解码器同步建模双臂间相互依赖的ACT系列策略。
CARP2024-12†将动作序列转为多尺度token,由粗到细进行自回归预测。
Dense Policy2025-03以仅编码器Transformer对动作序列做双向稠密扩展,在对数时间内生成。
Chain-of-Action2025-06从目标关键帧到当前时刻逆向生成轨迹,将全局目标反映到动作中。
BRS (WB-VIMA)2025-03用拥有移动底盘·4-DoF躯干·双臂的Galaxea R1学习长时程家务全身操作。

自回归与潜在动作VLA24 个模型

Octo2023-12不使用预训练VLM、以OXE 800k episode训练的通用VA策略。
OpenVLA2024-06用OXE 970k轨迹训练的开源7B VLA,ECoT·TraceVLA·OpenVLA-OFT·UniVLA等均基于此技术栈。
OpenVLA-OFT2025-02将OpenVLA微调方案改为并行解码·动作块·L1回归,吞吐量提高26~43倍。
MiniVLA2024-12将OpenVLA从7B缩小到约1B,并加入VQ动作块和历史输入。
TinyVLA2024-09无机器人数据预训练,在小型VLM上接扩散头,用LoRA(Transformer参数的5.0%)训练。
ECoT2024-07在动作之前生成计划·子任务·物体位置等具体推理,使OpenVLA的绝对成功率提高28%。
LLaRA2024-06将机器人动作转换为LLaVA对话格式文本,并用6种辅助自监督数据训练。
3D-VLA2024-03将3D场景理解和目标状态生成(扩散世界模型)与动作token预测结合。
RoboFlamingo2023-11冻结VLM,仅训练resampler·交叉注意力·策略头的连续动作VLA。
SpatialVLA2025-01通过3D位置编码和自适应网格token,将7维动作压缩为3个token。
LAPA2024-10从无动作标签的机器人·人类视频中学习潜在动作来预训练VLA。
UniVLA (OpenDriveLab)2025-05分任务无关·任务中心两阶段学习潜在动作,将人类视频和导航数据也用于预训练。
Magma2025-02同时处理UI导航与机器人操作的多模态智能体基础模型。
TraceVLA2024-12通过将点跟踪轨迹作为图像提示输入的visual trace prompting提升时空感知。
CoT-VLA2025-03先生成子目标图像的视觉思维链(visual CoT) VLA。
NORA2025-04在Qwen2.5-VL-3B上加入FAST+动作token的3B自回归VLA。
MolmoAct2025-08是经由深度感知和视觉轨迹输出动作的'动作推理模型'。
WorldVLA2025-06将动作生成与下一图像预测(世界模型)统一到单个自回归模型中。
UniVLA (BAAI)2025-06将视觉·语言·动作作为一个离散token序列处理,并用机器人视频进行世界模型后训练。
Moto2024-12用从视频中学到的潜在运动token预训练GPT,再连接到实际动作。
villa-X2025-07以潜在动作作为中间规划,与机器人动作专家一同训练。
VLA-02025-10不改变VLM结构和词表,让模型以普通文本数字输出动作的设计。
VLA-Adapter2025-09无机器人预训练,以0.5B主干和Bridge Attention策略取得LIBERO 97.3%。
RoboMamba2024-06用Mamba状态空间模型代替Transformer作为LLM的VLA。

π系列9 个模型

π02024-10π系列首个在VLM主干上附加独立flow matching动作专家的模型,用7种机器人配置·68项任务约10,000 h数据预训练。
π0-FAST (FAST 토크나이저)2025-01用DCT与BPE压缩动作块,使高频连续控制可以作为自回归token学习。
Hi Robot2025-02由上层VLM将用户提示与中途干预转换为1~3秒技能级语言指令、再由下层π0执行的分层系统。
π0.52025-04一个模型先预测子任务文本再输出动作,与网络·多机器人·子任务标注数据联合训练。
π0.5 + KI2025-05阻止动作专家的梯度流入VLM以保留VLM知识,同时用FAST token学习表征。
Real-Time Chunking (추론시 RTC)2025-06无需重新训练即可用于diffusion·flow VLA的推理技术,将下一个动作块按正在执行的动作进行inpainting,使推理延迟期间也能不间断执行。
π0.62025-11将主干换为Gemma 3 4B,动作专家扩大到约 860M,并加入丰富的元数据条件。
π*0.6 (RECAP)2025-11将演示·自主rollout·专家纠正通过优势条件离线RL(RECAP)迭代学习。
학습시 RTC2025-12训练时模拟推理延迟(实机0~10步均匀采样)来学习动作prefix条件化,因此没有推理时RTC的额外计算。

Flow·Diffusion VLA18 个模型

RDT-1B2024-10以统一动作空间联合训练46个异构机器人数据集的扩散策略。
RDT22025-09不用机器人遥操作,而以改进的UMI手持设备在100余户家庭收集的约1万小时人类演示进行训练。
CogACT2024-11以VLM输出的cognition token为条件,由独立DiT生成动作序列,并用Adaptive Action Ensemble合并动作块。
DiVLA (Diffusion-VLA)2024-12将VLM生成的推理语句通过FiLM注入扩散策略头,并用GPT-4o将训练数据转换为含推理的格式。
DexVLA2025-02采用先用跨本体数据预训练1B扩散专家的3阶段课程,并约每5秒标注一次sub-step推理。
HybridVLA2025-03一个LLM同时进行自回归预测与扩散动作生成,当AR token平均置信度超过0.96时采用将两种动作取平均的协同集成。
Dita2024-10†将语言·图像·timestep·噪声动作token放入同一causal transformer序列,以in-context条件化进行扩散去噪。
SmolVLA2025-06用481个社区SO100数据集预训练的0.45B小型VLA,目标是单GPU训练与消费级GPU·CPU部署。
X-VLA2025-10以逐embodiment soft prompt(占全部参数的0.04%)吸收7个平台的异构性。
FLOWER2025-09通过VLM中间层融合和按动作空间的Global-AdaLN将参数减少20%以上,约用200 H100 GPU-小时完成预训练。
InternVLA-M12025-10双系统:VLM先预训练定位关键物体位置的空间grounding,再接上DiT动作专家。
WALL-OSS2025-09采用以单一流输出推理(CoT)·子任务规划·连续动作的Uni-CoT,并将动作用与VL用FFN分离。
EO-12025-08以混合视觉·文本·动作的interleaved序列,在一个解码器中联合学习推理和动作。
GraspVLA2025-05无需真实机器人数据,联合训练合成SynGrasp-1B(10M条轨迹)与网络grounding(GRIT),实现零样本抓取。
Evo-12025-11†报告称无机器人数据预训练,以0.77B取得Meta-World 80.6%、RoboTwin 37.8%,高于SmolVLA·π0。
NORA-1.52025-11在自回归VLA上接入flow专家,联合学习FAST+ token与连续动作,并加入DPO奖励后训练。
F1-VLA2025-09在动作之前以next-scale方式生成未来视觉场景(foresight)并用于规划的VLA。
DexGraspVLA2025-02现成VLM planner指定目标物体,接收分割掩码和DINOv2特征的DiT controller执行灵巧手抓取。

产业界模型24 个模型

Gemini Robotics2025-03拆分为云端主干与机载解码器,从观测到action chunk约250ms,以有效50Hz控制。
Gemini Robotics-ER2025-03不输出动作,而是输出pointing、3D bbox、grasp预测等空间理解结果的VLM。
Gemini Robotics On-Device2025-06设计目标为最小算力,使其无需数据网络即可在机器人本地运行。
Gemini Robotics 1.52025-09在行动前用自然语言思考的'Thinking VLA',通过Motion Transfer联合训练多种embodiment数据。
Gemini Robotics-ER 1.52025-09作为协调机器人活动的上层'大脑',向GR 1.5下达分步自然语言指令。
RT-H2024-03一个模型先预测'move arm forward'之类的language motion再预测动作的分层VLA。
AutoRT2024-01是用LLM·VLM协调机器人群体、大规模采集真实环境数据的系统,而非模型。
SARA-RT2023-12将已预训练·微调的Transformer机器人策略中的二次复杂度注意力替换为线性注意力的效率化方法。
GR-22024-10用网络视频38M clips预训练未来帧生成,再以机器人轨迹联合微调视频·动作。
GR-32025-07联合学习机器人轨迹、网络视觉-语言数据和VR人类轨迹,泛化到新物体·指令。
GR-RL2025-12用学到的task progress(Q值)筛选演示,经左右对称增强后用潜在噪声预测器进行在线RL。
GR-Dexter2025-12以4B VLA控制装有2只21-DoF仿人手的固定双臂(共56-DoF)。
TRI LBM 1.02025-07不使用LLM·VLM、以CLIP语言为条件的diffusion transformer策略。
GO-12025-03用从人类视频中学到的与embodiment无关的latent action进行规划,再由Action Expert转换为实际动作。
Genie Envisioner2025-08由轻量动作解码器(GE-Act)接收视频world model(GE-Base)的表示生成动作,GE-Sim充当动作条件视频模拟器。
RFM-12024-03在单个8B模型中处理语言指令理解、in-context学习、动作条件视频预测。
Skild Brain2025-07标榜以单一模型控制四足·人形机器人·桌面机械臂·移动操作机器人的omni-bodied模型。
DYNA-12025-06用评估任务进度的奖励模型自行发现并纠正错误,目标是商用重复操作的长时间无干预运行。
GEN-02025-11以270,000 h真实世界操作数据预训练的embodied foundation model。
Galaxea G02025-08两层结构:VLM planner处理高层指令,VLA executor执行。
GigaBrain-02025-10用world model GigaWorld生成的数据(Real2Real,Sim2Real,人类视频转换等)减少对真实机器人数据的依赖。
RynnVLA-0012025-08三阶段训练:先用12M个ego-centric人类操作视频预训练视频生成,再进行轨迹感知视频建模和VLA微调。
UnifoLM-WMA-02025-09Unitree将world model与动作生成结合的开源框架,以机械臂桌面操作进行了演示。
V-JEPA 2-AC2025-06以100万小时以上互联网视频自监督训练world model,再用不到62 h的无标签机器人视频接上动作条件预测器。

人形机器人VLA14 个模型

GR00T N12025-03为无动作标签的人类视频·神经生成视频附加潜在动作(LAPA)·逆动力学模型(IDM)伪动作,与实机·仿真数据一起预训练。
GR00T N1.52025-05预训练·后训练均冻结VLM,在flow matching上加FLARE(未来潜在表征对齐)损失(系数0.2),也能从人类第一视角视频中学习。
GR00T N1.62025-09去掉N1.5中VLM后的4层适配器,解冻VLM上部4层,并将DiT扩大2倍(32层)。
Figure Helix2025-02将S2潜向量投影到S1 token空间并与视觉特征拼接,用回归损失端到端训练一套权重。
Atlas LBM2025-08由一个策略直接输出包括夹爪关节·颈部偏航·躯干姿态·手·脚姿态在内的全身动作。
1X Redwood AI2025-06在手臂·手部指令之外同时预测行走·操作·骨盆姿态指令,实现全身·多接触操作。
Tesla Optimus2024-05(2차)无官方技术公开,据二手出处,使用2D相机和手部触觉·力传感器的端到端神经网络在FSD计算机上实时运行。
Being-H02025-07采用串联人手视频VLA预训练、物理空间对齐、机器人任务后训练的'physical instruction tuning'。
Humanoid-VLA2025-02由语言与第一人称视觉生成全身动作、再由RL跟踪器执行的分层结构。
LeVERB2025-06以潜在动作词汇(latent verb)连接视觉-语言层与全身控制层的分层VLA,仅在仿真中训练并zero-shot迁移到G1。
UH-1 (Humanoid-X)2024-12是无视觉输入、将语言转换为人形机器人动作的VLA相邻模型。
EgoVLA2025-07以人类第一人称视频预训练后用机器人演示微调,将人手动作空间迁移到人形机器人双手操作。
HAT2025-03将人类VR演示与人形机器人遥操作在同一54维动作空间中联合训练。
WholeBodyVLA2025-12通过从无动作标签的低成本第一人称视频中学习的统一潜在学习,实现大空间移动操作(loco-manipulation)。

人形机器人全身控制器18 个模型

HumanPlus HST2024-06将人类动作实时迁移到人形机器人上的跟随(shadowing)用底层跟踪器。
HumanPlus HIT2024-06用跟随(shadowing)采集的每任务最多40条演示学习自主全身技能的视觉-运动策略。
Humanoid Locomotion as Next Token Prediction2024-02将真实世界行走视为下一个token预测问题,联合学习RL策略·基于模型的控制器·动作捕捉·YouTube视频轨迹。
Challenging-Terrain Transformer2024-10用现有策略·基于模型的控制器·人体动作捕捉轨迹进行序列建模预训练,再用RL微调。
BeyondMimic2025-08通过自适应采样学习长动作中的困难片段,无需参数调整即可将LAFAN1动作迁移到实机。
LeVERB-A2025-06将与视觉-语言无关的RL教师用DAgger蒸馏到Transformer学生,将潜在指令转换为全身动作。
OmniH2O2024-06既是用VR·RGB关键点遥操作全身的追踪器,也是用所采集演示训练自主策略的平台。
HOVER2024-10以指令模式·稀疏掩码将多种控制模式统一到一个多模态全身策略中。
iDP32024-10以第一人称3D点云扩散策略,仅靠机载算力以15 Hz完成人形机器人上身操作。
ExBody22024-12以跟踪误差阈值τ* = 0.150自动筛选训练动作,跟踪富有表现力的全身动作。
TWIST2025-05以PPO特权教师和RL+BC联合优化学生实现基于动捕的全身遥操作。
TWIST22025-11不用动捕,而以PICO4U VR和定制2-DoF机器人颈部(约 $250)采集遥操作数据。
AMO2025-05利用轨迹优化(Crocoddyl BoxFDDP)生成的混合数据适应躯干指令,实现超高自由度全身操作。
GMT2025-06通过自适应采样(将超过10秒的动作截为10秒并按完成度加权)与MoE,单一策略即可跟踪多样的人类动作。
SONIC2025-11是将动作跟踪按数据·模型·算力规模扩展的通用token全身控制器。
VIRAL2025-11在大规模分块渲染仿真中将RL教师蒸馏为RGB学生,把基于视觉的移动操作迁移到真机。
BumbleBee2025-06是结合动作聚类和仿真-真实适应的专家-通才训练框架。
Figure RL 보행 제어기2025-03并行仿真物理参数各不相同的数千台Figure 02,在几小时内学习数年量的仿真演示。

2026年新增35 个模型

G0Plus2026-01Galaxea于2026年1月公开的检查点(G0Plus_3B-base),用2k小时以上真实世界机器人数据预训练。
InternVLA-A12026-01在一个MoT中协调场景理解·视觉预测生成·动作执行。
1X World Model (1XWM) 정책2026-01由IDM从世界模型生成的视频帧之间提取动作的视频生成式策略。
Spirit v1.52026-01用多样且弱控制的采集数据代替精选数据进行训练。
Being-H0.52026-01用UniHand-2.0(人类第一视角16,000小时·机器人14,000小时以上)训练了30种具身形态。
Cosmos Policy2026-01将预训练视频模型不改结构地训练为策略的视频模型策略。
Rho-alpha (ρα)2026-01(2차)†源自Microsoft Phi系列的首个机器人模型,是加入触觉的'VLA+'。
LingBot-VLA2026-01以9种双臂机器人约20,000小时真实数据预训练。
Helix 022026-01S1从上半身扩展到全身控制,S0是取代109,504行手写C++的学习型全身控制器。
UnifoLM-VLA-02026-01在Unitree G1上用单一策略完成12类操作任务。
HoloBrain-02026-02通过多视角相机参数和运动学描述注入具身信息。
G0Tiny2026-02Galaxea的250M轻量模型,采用SmolVLM2主干。
Xiaomi-Robotics-02026-02用Λ形attention mask和RoPE位置偏移学习异步执行。
DreamZero2026-02联合预测视频与动作的世界动作模型(WAM)。
EgoScale2026-02以20,854小时以上第一人称人类视频预训练VLA,灵巧任务平均成功率提升54%。
Ψ0 (Psi-Zero)2026-03报告称仅用约800小时人类视频和30小时机器人数据,就以40%以上的优势超过了使用10倍以上数据的基线模型。
GR00T N1.72026-03以EgoScale人类视频20K小时和机器人演示预训练的开源推理型VLA。
GEN-12026-04预训练数据中没有机器人数据,以50万小时以上的人类可穿戴设备数据训练。
GO-22026-04(2차)结合了直接在动作空间中规划的Action CoT与异步双系统。
Being-H0.72026-04BeingBeyond作为'旗舰WAM'推出的3B模型,报告LIBERO平均99.2%。
π0.72026-04核心是在语言之外加入执行质量·速度·策略元数据与子目标图像的多样上下文条件化。
MolmoAct 22026-05动作推理模型,Think变体使用自适应深度推理token。
G0.52026-06以单一自回归流输出推理与动作的纯解码器VLA。
SyVLA2026-06公开了预训练算力(H200 32块,约1.5天)的学术VLA。
OpenHLM2026-06将π0.5微调为输出全身指令并置于SONIC底层全身控制器之上的人形机器人方案。
Galbot AstraBrain(银河星脑) 계열2026-06(2차)由银河星脑/AstraBrain、AstraBrain-Agent、AstraBrain-WBC 0.5、DexNDM(灵巧手世界模型)组成的系列。
InternVLA-A1.52026-07†仅在训练时用WAN2.2-5B视频教师监督潜在视觉预测token,推理时移除视频分支。
TurboVLA2026-070.2B轻量VLA,报告推理延迟31.2 ms(32 Hz),推理显存0.9 GB。
Gemini Robotics 22026-07将视觉·语言输入转换为从脚尖到指尖的全身运动控制的VLA。
Gemini Robotics On-Device 22026-07是在机器人本地运行的VLA,以数小时·少于200个示例适应新的双臂具身。
DYNA-22026-08以100万小时以上第一人称人类视频预训练的世界动作模型(WAM)。
Skild S12026-08(Skild)/2026-09(NVIDIA)仅凭一段视频演示、无需更新权重即可执行新任务的in-context学习VA。
GEN-1.52026-08以3–12秒演示作为物理提示,无需更新权重即可执行新任务。
ω-0 (OMEGA-0)2026-08由语言·第一/第三人称视频·本体感觉预测未来观测嵌入,同时用动作DiT生成兼容SONIC的全身动作潜变量的人形机器人潜在预测world action model。
Qwen-VLA2026-05在Qwen VLM上接DiT flow-matching解码器,将操作·导航·轨迹预测统一到同一动作·轨迹空间,并通过按机器人的提示条件化让一套权重覆盖多种embodiment。

移动操作16 个模型

TidyBot++2024-11用全向(holonomic)动力脚轮底盘和手机遥操作演示,按任务训练Diffusion Policy,同时输出底盘目标位姿与手臂末端目标。
MoManipVLA2025-03通过双层优化寻找能使固定底盘预训练VLA输出的末端waypoint可实现的底盘waypoint,将VLA迁移到移动操作。
AC-DiT2025-07将先用底盘动作单独训练的轻量移动头的潜在表示作为全身动作生成的条件(mobility-to-body),并按各阶段需要调节2D图像与3D点云的权重。
SG-VLA2026-03将还原机器人全局位姿·关节构型·抓取成功·目标物体位姿·分割掩码的辅助解码器与VLA分阶段联合训练,强化空间grounding。
PanoVLA2026-08在π0.5中插入全景专家的Mixture-of-Transformers,将360°全景的全局空间上下文与局部相机视图融合,并用单一VR全身遥操作采集轮式双臂机器人数据。
HarmonicMM2023-12不拆分导航和操作模块,仅用RGB同时驱动底盘和机械臂的单一策略,在ProcTHOR仿真中用DD-PPO端到端训练。
ACT-12025-11将Skill Capture Glove采集的人类演示通过Skill Transform转换为机器人数据,无需遥操作机器人轨迹,用一个端到端模型学习长时程操作和3D地图条件导航。
UMI on Legs2024-07用UMI手持演示训练的diffusion操作策略输出任务坐标系末端轨迹,由仿真RL训练的以操作为中心的全身控制器(WBC)跟踪,以四足+机械臂执行。
VBC2024-03视觉高层策略输出底盘速度与末端位姿目标、由使用腿部关节的RL底层策略跟踪的分层四足+机械臂全身控制框架。
Helpful DoggyBot2024-09在前下方装有1-DoF夹爪的Go2上,将仿真RL训练的第一人称深度敏捷控制器与预训练VLM感知·比例控制相结合的模块化室内取物系统。
QUAR-VLA (QUART)2023-12提出了由单张RGB和语言指令以离散token输出四足高层指令(速度·步态·姿态)的四足VLA任务定义、QUART模型及仿真·实机QUARD数据集。
QUART-Online2024-12通过将连续动作块压缩为残差VQ码的ACD微调MLLM,使其一次推理输出多步指令,在不缩减参数的情况下消除延迟的四足VLA。
MoRE2025-03在Fuyu-8B中以稀疏MoE加入多个LoRA专家,把VLA视为Q函数,用成功·失败混合的自动采集数据做离线RL训练的四足VLA。
RoboDuet2024-03是行走策略与机械臂策略两个RL策略协作(机械臂策略指示机身俯仰·横滚),同时实现四足+机械臂底盘移动和末端6D位姿跟踪的两阶段训练全身控制框架。
Learning Visual Quadrupedal Loco-Manipulation from Demonstrations2024-03由一只前足跟踪参数化贝塞尔轨迹、其余三条腿行走的RL底层控制器,与输出轨迹参数的基于点云的DP3 diffusion规划器构成的分层腿部操作策略。
SLIM2025-01仅凭MuJoCo仿真RL(特权教师→视觉学生)训练一个四足+机械臂策略,用一台手腕RGB和语言指令完成搜索·接近·抓取·搬运·投放的长时程任务,并零样本部署到真实机器人。

导航28 个模型

GNM2022-10将6种机器人采集的异构行驶数据通过归一化动作空间和时间上下文统一,学习单一的图像目标条件导航策略。
ViNT2023-06用扩展GNM数据混合的多机器人行驶数据训练31M Transformer策略,并将目标token替换为面向GPS坐标·路线指令等其他目标模态的soft prompt来适配。
NoMaD2023-10以概率性遮盖目标图像的目标掩码,在一个扩散策略中同时处理目标导向导航和无目标探索。
CrossFormer2024-08用一个130M Transformer学习20种本体的900K条轨迹,不对齐观测·动作空间,即可控制单臂·双臂、轮式、四足、四旋翼。
LeLaN2024-10对YouTube导览·人类行走视频和机器人行驶数据,用SAM·VLM(CogVLM)·GPT-3.5添加物体指令,并用深度估计标注物体位置,训练语言条件物体导航策略。
CityWalker2024-11为数千小时YouTube城市步行·驾驶视频用DPVO视觉里程计标注轨迹,模仿学习以GPS目标为条件的城市导航策略。
NWM2024-12用机器人行驶视频和动作训练1B条件扩散Transformer(CDiT)world model,想象动作序列的未来视频,并以与目标图像的相似度规划·评估轨迹。
X-Mobility2024-10先用自回归潜在world model学习环境动力学,再在其潜在状态上分离学习动作策略,仅凭仿真数据实现泛化的端到端导航模型。
COMPASS2025-02在基于模仿学习的策略之上训练各具身的残差RL专家,再将其蒸馏为一个具身条件策略,统一轮式·四足·人形机器人导航。
OmniVLA2025-09可单独或组合接收语言·目标图像·2D目标位置的全模态导航VLA,以10个平台9,500小时数据对OpenVLA 7B进行LoRA训练。
RING (The One RING)2024-12在仿真中以随机化相机位置·视场角·碰撞体尺寸等的100万种embodiment的专家轨迹进行模仿学习,再用DD-PPO进行RL微调,得到与形态无关的室内物体搜索策略。
NavDP2025-05仅用仿真数据,以单个Transformer从RGB-D观测联合学习轨迹生成(diffusion)与轨迹评估(critic),critic以仿真特权信息(全局ESDF)构造的对比负…
NaVid2024-02仅凭单目RGB视频历史和语言指令以语言输出下一动作的基于视频VLM的VLN智能体,无需地图·里程计·深度即可在连续环境(VLN-CE)中运行。
Uni-NaVid2024-12统一VLN·ObjectNav·EQA·人物跟随4种导航任务的输入输出格式,训练为一个视频VLA,并通过在线token合并和4步动作预测实现约5 Hz非阻塞实际部署。
NaVILA2024-12两阶段结构:VLA不输出底层关节指令,而是输出含距离·角度的中层语言动作,由使用LiDAR高度图的RL行走策略在避障的同时执行。
Mobility VLA2024-07将环境演示导览视频整体输入长上下文VLM(Gemini 1.5 Pro),找到符合文本·图像指令的目标帧,并用同一导览构建的拓扑图规划底层航点的无需训练的分层导航策略。
StreamVLN2025-07将连续视频作为多轮对话处理,近期对话以滑动窗口KV缓存复用,过往视觉信息以基于3D体素的token剪枝记忆压缩的流式VLN模型。
NavFoM2025-09在四足·无人机·轮式·车辆等多种embodiment及VLN·物体搜索·跟踪·自动驾驶任务上以单一模型训练的导航基础模型,引入视角·时间指示token与基于token预算的历史采…
InternVLA-N12025-07异步双系统导航基础模型:基于VLM的System 2以低频输出图像上的像素目标·潜在规划,基于diffusion的System 1以此为条件生成高频轨迹。
TrackVLA2025-05具身视觉追踪VLA:在共享LLM之上并行设置用于目标识别的语言头和用于轨迹规划的基于anchor的diffusion头,联合学习识别与追踪轨迹规划。
VLN-R12025-06将通用VLM(Qwen2-VL)在基于第一人称视频的VLN上SFT后,以使用时间衰减奖励(TDR)的GRPO强化微调(RFT)改进多步动作预测。
ABot-N02026-02以将LLM Brain与flow matching Action Expert组合的Brain-Action结构,把点·物体·指令·POI·跟人5项导航任务统一到一个VLA中,并…
VLingNav2026-01具备仅在需要时开启显式推理的自适应CoT与结合语言摘要·关键视觉特征的记忆的导航VLA,在模仿学习后以专家引导的在线RL进行后训练。
TIC-VLA2026-02以慢速VLM推理的延迟状态和显式延迟信息(推理·经过时间、自身运动)为条件,由快速动作策略异步控制的think-in-control VLA。
FutureNav2026-06将在VLM隐状态上联合学习动作预测、逆·正向动力学和未来空间状态生成的world-action建模引入VLN,推理时只用策略头以保持速度。
Uni-LaViRA2026-05一种免训练智能体:预训练MLLM用语言选择方向、用视觉指出目标像素,再将其转换为机器人动作;加入TODO List Memory与Second Chance Backtrack,…
LightNav-02026-08不给预训练VLM加新头,仅添加指点token与RVQ动作token,将指令跟随·物体搜索·视觉跟踪统一为单一token接口,并按ER中期训练→SFT→GRPO RL顺序训练。
Qwen-RobotNav2026-06将任务模式和观测上下文(token预算·时间衰减·相机权重)参数化并在训练时随机化,使一个模型作为上层智能体规划器的工具执行VLN·物体搜索·追踪·自动驾驶。