发展趋势量子位5/10

文远发布物理AI大模型WITT:让每一公里都变成模型能力

By 杰西卡

文远发布物理AI大模型WITT:让每一公里都变成模型能力
图源:量子位

AI 摘要

单卡日处理1万分钟视频

原文正文

文远发布物理AI大模型WITT:让每一公里都变成模型能力

单卡日处理1万分钟视频

杰西卡 发自 副驾寺

智能车参考 | 公众号 AI4Auto

自动驾驶跑出的里程越多,模型就越聪明?

不见得。

一辆测试车,每天可以产生数小时道路视频,一支千辆规模的车队,积累的数据量更是难以估算。但其中大部分是重复发生的日常场景,还混杂着人为接管、无效片段和识别错误。

真正能推动模型进化的,往往只是少数长尾数据。

问题是,从几万小时视频中找出“施工区域内行人突然横穿”“雨天低能见度下车辆压线”“窄路会车时异常减速”,无疑是一项庞大的工程。

即便大模型能够看懂视频,也可能遗漏目标、弄错时序,甚至生成现实中并未发生的情节。

文远知行刚刚发布的物理AI认知基础大模型WITT,瞄准的就是这一层瓶颈。

在VLM基础上,WITT首次引入了“最小物理事实单元”概念,把连续变化的真实道路场景拆解成可被识别、验证的事实单元,重构AI对物理世界的理解框架。

官方称,WITT最高能够将数据处理效率提升200倍,单卡单日处理1万分钟车辆运行视频;在自动驾驶场景中,每段视频的平均事实错误率约为通用大模型的三分之一。

这就是文远在做的事:是让自动驾驶车辆跑过的每一公里,都有机会真正进入模型的进化链路。

文远WITT:把道路视频拆成“物理事实”

文远知行刚刚发布的WeRide WITT(World Intelligence Toward Truth),意为“以可信事实建立世界认知”,致敬了哲学家维特根斯坦提出的“世界是事实的总和”。

这个寓意落到自动驾驶研发里,可以理解为一个更具体的目标:先确认道路上究竟发生了什么。

文远为此提出了“最小物理事实单元”的概念,将连续、复杂的道路视频,转化成模型能够直接使用的结构化信息。

据文远透露,之所以做这件事,和自动驾驶数据形态的变化直接相关。

过去,自动驾驶公司的车队规模有限,核心任务是尽可能多地采集真实道路数据。谁的测试里程更长、覆盖城市更多,往往意味着见过的场景更多。

随着Robotaxi车队扩大、L2辅助驾驶车型规模上车,数据开始迅速堆积。但一公里道路数据和另一公里道路数据,价值可能相差很大。

正常直行十公里,未必比一次施工区突然横穿更值得学习;一段车辆接管视频,也未必代表自动驾驶系统出现问题,可能只是安全员提前干预。

未经理解和验证的数据直接进入训练,无法稳定推动模型进化,甚至会把错误信号带入模型。高价值长尾场景,则很容易淹没在海量视频中。

工程师想查找“低能见度下前车压线”,传统方式依赖预先设计的标签。标签体系没有覆盖这个维度,数据即使已经存在,也很难被快速找到。

围绕这些问题,WITT形成了事实提取、事实推理、事实验证、事实编排四大核心能力,贯通从识别道路场景、归因关键事件,到检查数据质量、安排学习路径的完整流程。

首先是事实提取。WITT会从标准驾驶行为、多主体交互和复杂物理条件等维度,识别视频中的“最小物理事实单元”。

一段车辆在雨夜通过城市路口的视频,可以被拆解为自车右转、城市道路、交叉路口、信号灯状态变化、低能见度,以及周围交通参与者动作等多个事实。

每一项事实都可以独立检索,并追溯到对应的视频画面和时间点。

基于这些事实单元,WITT内置的视频数据引擎,还允许工程师通过关键词或自然语言检索道路视频。

例如输入“寻找施工区域内行人突然横穿的片段”,WITT可以直接定位相关视频、目标主体和发生时间,不再要求工程师逐段查看,也不必提前为所有复杂场景设计标签。

这相当于让自动驾驶道路视频,也拥有了类似文本的搜索能力。过去已经采集、却很难被找到的长尾数据,开始能够被重新调用。

但找到视频只是第一步。同样一次自车异常减速,可能由前车急刹、行人靠近道路、车道变窄引起,也可能来自自动驾驶策略过于保守。

这对应了WITT第二项能力——事实推理。

WITT还会分析场景中的主体关系、关键事件、风险变化和后续演化趋势,进一步判断问题为何发生。

自动驾驶工程师得到的不再只是一段“出现异常”的视频,还包括事件发生前后的事实链路。

这能解决研发过程中另一个常见痛点:视频已经找到了,问题仍然难以定位。

第三项能力是事实验证。

通用大模型在理解道路视频时,也可能出现幻觉、遗漏和时序错误。它可能没有识别到画面边缘的骑行者,也可能颠倒车辆减速和行人出现的先后顺序。

在日常视频问答中,这类错误或许只会影响答案质量;进入自动驾驶训练链路后,错误描述可能导致样本被错误分类,进一步影响模型训练和评测。

WITT为此从弱势道路使用者、自车行为、他车行为、场景理解、事实完备性和交通设施六个维度,对模型输出进行评估,同时引入事实置信度,并调用外部物理证据反向验证结论。

阅读原文
文远发布物理AI大模型WITT:让每一公里都变成模型能力 · AI Daily