全球首个！银河通用新框架仅需人类视频即可部署，特斯拉蚌埠住了

全球首个！银河通用新框架仅需人类视频即可部署，特斯拉蚌埠住了

还能让机器人边干边学

鹭羽 发自 凹非寺

量子位 | 公众号 QbitAI

终于，现学现用的风也是吹到了具身智能。

要说这两年，大模型最重要的变化之一，就是越来越不依赖预训练一锤定音，部分能力开始留到推理时刻再兑现。

OpenAI o1如此，DeepSeek-R1也是如此。模型推理能力提升，靠的是在应用过程中的持续自我提升。

但机器人不一样，它面对的是比文本更复杂的物理世界，任意一次误判都有可能损坏抓取对象。想让机器人像大模型一样在部署时进化，行业内一直没有人做到。

直到今天，这条路线第一次被银河通用走通了。

刚刚，银河通用正式发布全球首个面向具身智能大模型的测试时后训练框架WAM‑TTT（World-Action Model Test-Time Training）。

它首次将Test-Time Training（TTT）范式从NLP和大语言模型，迁移至物理世界的机器人控制。

说人话就是，机器人可以「现学现上岗」。

不过这里的学习，学的不是具体动作，不是要机器人看一遍视频就学会一个新技能，WAM‑TTT重在让机器人消化理解当前任务。

它会让机器人先通过人类示范视频充分了解场景信息，再把这些信息写入临时记忆，然后结合原先已有的动作能力完成任务。

这样既能适应新环境，也能保证原先能力不丢失，实现部署后的连续学习。

自此，具身智能得以开启属于自己的后训练时代。

全球首个具身测试时后训练框架

要知道，现阶段整个具身智能行业都受限于同一核心痛点。

一个机器人在训练场里学会了搬箱子，精度、成功率都拉满。可一旦换个环境或者换批箱子，它就立刻摆手不会。

同一项技能，训练时精通，部署时失灵，这就是学术界常说的部署到真实场景中泛化性衰减。

更麻烦的是，客户每换一个新的部署点位，都得重新采集数据、重新适配模型。整套流程下来又贵又慢，具身智能压根无法规模化落地。

WAM‑TTT要解决的就是这个问题。

根据官方介绍，它是一套基于原始人类实拍视频、推理阶段完成适配训练的TTT轻量化框架，低成本且泛化能力强，首次系统性破解了跨场景、高效、规模化部署这道行业难题。

它的能力可以用一句话概括：

WAM‑TTT无需重新预训练，也无需大量机器人轨迹数据和人类动作标注，就能让机器人在部署阶段快速适应新场景、新任务。

听起来有些抽象，那我们不妨用一个厨师的例子类比。

如果我们把机器人想象成一个已经出师的厨师，从出厂那天起，它就拥有从预训练阶段学来的扎实的基本功。现在顾客走进后厨，希望厨师做一道没做过的菜，还给它看了教学视频。

通常一般的机器厨师会逐帧模仿学习，但WAM‑TTT不一样，它会先把顾客的要求写到一张便签上，然后调用自己已有的厨艺，再照着便签把菜做出来。

这张便签，就是WAM‑TTT的核心机制，一块独立的小型参数存储单元fast-weight memory（快速权重记忆）。

具体来说，WAM‑TTT的底座是一个预训练好的世界动作模型（World Action Model，WAM）。

内部由视频专家和动作专家两部分组成，前者负责理解当前画面里发生了什么，后者负责生成对应的机器人动作。二者之间再通过联合注意力维系通信。

需要注意的是，在WAM-TTT整套流程中，WAM的主体权重全程保持冻结，不会随着学习过程更新，所有学习操作都只在前面提及的记忆模块中完成。

整个训练可分为两个阶段：

- Meta-Training（离线元训练）阶段：

这一步是机器人的出厂设置，团队借助成对采集的人类和机器人演示数据，通过Key-Value向量对自适应记忆，实现人类视觉线索与机器人行为的对齐。

相当于教会厨师怎么读懂顾客的便签，以后碰到新视频，就能自动理解付诸行动。

- Test-Time（线上测试时训练）阶段：

这一步才是用户实操阶段，需要提供给机器人一段未标注的人类RGB视频，主WAM会完全锁死，仅更新轻量化记忆模块参数。

完成记忆更新后，WAM‑TTT就会将学习到的操作逻辑送入相机观测画面，模型再输出机械动作完成任务。

对比传统架构，WAM‑TTT的表现也是一骑绝尘，总体来看实现了四点突破：