用世界模型给VLA当教练，原力灵机发布DW0.5，把RL搬进虚拟世界

用世界模型给VLA当教练，原力灵机发布DW0.5，把RL搬进虚拟世界

后训练中真机数据需求骤降60%

衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

代码Agent这两年为何进步飞快，成为AI界的宗门大师兄？

因为这玩意儿自己个儿就超！闭！环！的！

代码Agent可以自动执行、自动验证、自动反馈。写了代码跑一下就知道对不对，奖励信号非常清晰明确。

这给后训练（Post-training）阶段的自反馈闭环提供了完美条件。

同样是AI界大热门，具身智能目前就缺少这种“神助”。

它面对的物理世界比代码Agent面对的世界复杂多了，而且很难得到即刻验证。

它接收的信号不像代码那样有一个编译器就能判定，它们模糊、昂贵，而且每一次真机试错都意味着真金白银的人力和硬件损耗。

VLA（视觉-语言-动作模型）是具身智能中最早受到关注的技术路线。

但很快，大家发现这个技术存在物理理解缺失、泛化能力极弱、长时序与规划能力不足等等问题，做不到“一家独大”包打天下。

大家有点着急。后来，世界模型又成了行业里的新宠儿。

但世界模型似乎也不是灵丹妙药（至少目前来看是这样的）……

这也不行那也不行，具身智能，你到底要怎样啊？？

这个时候，原力灵机相关负责人站出来表态：

我觉得特别愚蠢的一件事情是在「技术路线」上给自己贴标签。这件事情是特别蠢的。

应该以目标导向。你要解决什么问题，挑选对应的方法去解决它，而不是说我是什么方法的、什么流派的，为此来证明只有我才是标新立异的。

他介绍，大约今年过年前，原力灵机意识到可将世界模型作为后训练的一部分。

一晃眼半年过去了。这个月，原力灵机发布了旗下首款具身世界模型DW0.5，并将它接入世界模型驱动的具身智能后训练框架DFOL2.0。

“这套基模支持多模态输入，包括任务指令、图片和视频，还能选定机器人类型。我们可以凭借历史动作，预测后续视频状态。”原力灵机联合创始人汪天才说。

他介绍道，DW0.5用上万小时真机、多视角数据完成联合预训练，仿真能力很强，能生成各类画面。

不光能做出机械臂正常作业的视频，就算参考错误动作，也能还原任务失败的场景，以此支撑DFOL2.0框架的在线强化学习训练。

DW0.5作为一个高保真仿真器，把强化学习搬进虚拟世界。

VLA先给出候选动作，DW0.5在虚拟环境中预演未来，判断成功、失败与偏离风险，再把可用反馈送回强化学习。

按其披露的数据，这套流程可让后训练中真机数据需求骤降60%，整体训练成本下降40%。

具身智能行业急需低成本反馈闭环

想了解DW0.5，咱们先来看清它解决了什么样的行业问题。

具身智能属于物理AI，它的目标是让机器人在不同环境、不同物体和不同失败条件下持续变强。

可惜后训练飞轮一直跑不起来。

真机一次rollout需要占用机器人、场地和人工，一次动作失败可能直接让任务中断；人工反馈虽然更接近真实判断，但难以高频覆盖每个中间状态；仿真环境成本确实低很多，但现实中的接触、遮挡、反光、形变和不确定性又很难被完整复刻。

基于这个现实，原力灵机从技术侧提出了判断：VLA需要一个介于真机、人工反馈和传统仿真之间的训练环境。最好它足够便宜、能支持高频探索，还更接近真实操作过程。

然后新的办法就被脑暴出来了。

用真实Rollout数据校准世界模型，世界模型支持低成本大规模的环境与数据生产，新的policy再回到真实环境验证和收集数据。

DW0.5就承担了原力灵机VLA模型（DM0.5）后训练中的Learned Environment的角色。

DW0.5三大专家模块重构仿真逻辑，全方位提升泛化能力

DW0.5能预测动作执行后的未来状态，甚至生成失败轨迹，并对任务进度打分。

具体而言，DW0.5以Video Expert、Action Expert、Value Expert三大专家模块组成能力链路。Video Expert与Action Expert共同服务动作后果预演，Value Expert负责价值评估与反馈构造。

这三个设计的思路各有讲究。