3万小时触觉数据补齐具身智能“手感”！新智具身&复旦报告三连发

3万小时触觉数据补齐具身智能“手感”！新智具身&复旦报告三连发

项目数据模型均开源

允中 发自 凹非寺

量子位 | 公众号 QbitAI

煮鸡蛋面、调柠檬水……机器人又来秀花活了。

这次登场的是来自NeoteAI和复旦大学的N0系列模型。不仅是居家料理，收纳整理它同样拿手。工厂流水线装配、精细零件组装、线材缠绕梳理这些精细活也全都不在话下。

不知道大家有没有见过机器人实操翻车的名场面：插头边缘反复摩擦却难以插入、抓取塑料瓶时力道失控导致瓶身瘪陷、叠好的毛巾在松手瞬间散落……在具身智能的落地进程中，这类“视觉系统判定无误，但物理交互瞬间翻车”的现象屡见不鲜。

这些失败指向了一个行业共识：

决定机器人能否在真实物理世界中生存的关键，往往不只在于视觉感知的精度，而更在于接触瞬间的触觉反馈。摄像头能确认空间位置，却无法感知“是否接触”、“顶到边缘”、“夹力过载”或“发生滑移”等，缺失这层反馈，正是阻碍机器人跨越“最后一厘米”的核心痛点。

现在，上海新智具身智能科技有限公司（NeoteAI）联合复旦大学可信具身智能研究院，正式发布了N0系列三份技术报告，把触觉从“辅助模态”跃升为“核心基建”。 三份报告合起来看，恰好拼出一张蓝图——一套触觉数据底座，搭配两条不同侧重的技术路线。

更具行业价值的是，项目的数据和模型会进行开源，可以直接查看项目的完整链接：

https://research.neoteai.com

N0-Foundation：统一触觉“方言”，构建3万小时交互语料库

触觉数据的规模化应用长期受制于各类触觉设备输出的数据格式互不兼容。不同传感器输出的凝胶形变图、电容矩阵或六维力向量，犹如缺乏统一语法的方言，难以在同一模型中融合。

NeoteAI搭建的NeoData数据集旨在打破这一壁垒：

- 包含超3万小时视觉-触觉交互操作数据；

- 约140万条操作片段，33亿个时间步；

- 对应80亿帧RGB画面与100亿帧触觉图像；

- 动用Franka、Piper、UR5e等6种机器人本体；

- 覆盖450项真实长程任务（如叠衣、插拔接头、倒液体等），由90位操作员采集；

- 已开源5千小时视觉-触觉交互操作数据。

另外，研究团队还提出了NeoForce统一表征模型。无论底层传感器硬件如何，都能够学习到具备迁移能力、时序结构化的触觉表征，以供下游具身智能策略使用：哪里被按？按多大力？有没有横向拉扯？这种“触觉普通话”有效解决了跨设备数据融合难题。

N0-VTLA：以“触觉预判”赋能轻量级VLA

数据底座夯实后，研究团队接下来思考的是如何将触觉真正融入到VLA技术路线之中。

在现有的多模态融合实践中，直接将触觉图像与RGB视觉信号进行简单拼接往往面临挑战：

由于触觉信号仅在物理接触瞬间产生高频响应，大部分时间处于“静默”状态，极易被海量视觉Token淹没。更为关键的是，即便模型成功提取了当前触觉特征，其本质上仍是对已发生动作的滞后反馈——这种“后视镜”式的感知机制，使得在动态交互中始终慢半拍。

N0-VTLA提出了一种全新的方案：不依赖滞后的当前触觉，而是预测未来50步内的触觉演变。

该模型将当前触觉编码为紧凑的潜在Token，结合视觉上下文预判滑移、受力等趋势，从而指导动作模块提前调整。

不同任务上显示：

N0-VTLA在插插头任务中成功率达85%，而同类视觉方案仅60%；在拔钥匙的任务成功率达99%，而视觉方案为35%。

此外，N0-VTLA还突破了传统模仿学习仅依赖专家成功轨迹的局限，让机器人从失败数据中实现自主进化。

模型结合触觉信息利用部署后数据以及human in the loop的数据训练了一个进度评估模型，使其能够识别任务执行阶段，甚至识别出“退步”与“救场”等复杂行为。通过结合离线强化学习，机器人在毛巾折叠、书包收纳、纸箱折叠等长程任务上的成功率，分别从50%、35%、20%大幅跃升至95%、80%、75%，真正实现了从失败经验中汲取教训的持续进化。

N0-TWAM：在世界模型中重构“触觉想象”

如果说N0-VTLA是加装预判雷达，N0-TWAM则是对机器人“认知中枢”的重构：它把触觉放进世界模型，让机器人在动手之前，先在自己的“想象”里完整地推演一遍操作视角和手感。

现有世界模型大多局限于未来视觉图像的生成，在驱动真实机器人时面临严峻的物理对齐挑战：画面里杯子被抓住了，但手指夹没夹稳？画面里插头对齐了，但下一秒会不会卡住？这些触感信息完全缺失。

N0-TWAM要做的是同时预测未来的视频、触觉和动作这三个相互耦合的序列。

N0-TWAM采用混合专家架构，内置视频、触觉、动作三个异步专家网络，视频专家从预训练模型热启动，触觉和动作专家用更窄的结构，最终总参数量72亿，仅相当于全宽方案的一半。

在仿真与真机测试中，

N0-TWAM展现出显著优势：仿真平均成功率达84.5%（而世界模型最强基线为36%）；真机8项任务平均成功率46.3%（LingBot-VA为21.9%）。消融实验进一步证实，去除“未来触觉预测”或“当前触觉条件”均会导致性能显著下降，确立了触觉在世界模型中的不可或缺性。

触觉：具身智能的下一个 Scaling Law？