供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意

供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意

端到端整合、能跨场景复用的操作方法论

克雷西 发自 上海

量子位 | 公众号 QbitAI

商汤大装置这次交出的国产算力成绩单，量级已经不一样了。

WAIC期间，商汤大装置举办了一场AI基础设施论坛，把这份成绩单摆到了台面上。

成绩单显示，商汤大装置把国产芯片相关业务的毛利率，做到了正数。

预计到7月末，商汤大装置的日均Token处理量，将从年初的4000亿一路狂奔到2.42万亿，年底还冲着10万亿去，大概是年初的25倍。

国内头部模型厂商的名字，也有很多都排上了商汤的客户名单。

商汤大装置负责人杨帆介绍，过去好几年，算力圈一直在念叨一句老话——谁买国产芯片，谁认亏。

商汤大装置交出的这组数字，直接把这句老话怼了回去。

也正是因此，商汤自己把这一年，称为「国产AI基础设施规模化商用的元年」。

撑起这个反转的，是商汤一整套把资源攥在自己手里、灵活拼起来用的操作方法论。

先拼系统，再等芯片追上来

现在的国产模型，跟世界主流已经没有代际差距。

但搭载它们的国产芯片，跟国际主流高端芯片比，至少落后一代。

这个错位，在算力产业链上几乎人尽皆知。

商汤大装置没有守株待兔，不等这道差距被芯片厂商自己填平，就先跑通了一套系统层面的组合方案。

有了这套方案，这道差距在实际用起来的时候，就能得到一定程度的弥合，不再是天堑。

这套方案的核心，叫异构混合推理。

具体来说，商汤大装置把主流国产芯片「拼」在了一起。

他们将Prefill和Decode阶段分离，把对显存和带宽要求最高的Decode环节，交给性能更强的高端资源撑着；对算力要求相对分散的Prefill环节，则交给数量更多的国产芯片扛。

这样分的道理并不复杂，Decode阶段要一个字一个字往外蹦，每蹦一个字都要把之前生成的内容在显存里翻一遍，吃的是带宽；

Prefill阶段则是一次性把输入内容整个吞下去，吃的是算力堆叠的吞吐量。

两种「脾气不一样」的任务，本来就不该塞给同一种硬件干。

有了这样的分工，一块高端芯片，大概就能带动约30块国产芯片一起干活，拿到与单独用高端资源接近的效果。

这套组合术，也不是只对着一款芯片量身定制的。

商汤大装置前后适配过20多款不同厂商的国产芯片，其中已经有六七款能够稳定地商业化盈利。

当然，把硬件拼在一起，只是第一步。

系统层面还有大量定向优化和适配的工作要做。

这些工作琐碎但繁重，从底层的编译器适配，到算子重写，再到上层框架的对接，最后还要落到调度策略的调整，每一层都得单独去啃。

为此，商汤大装置在算子层面做了针对性的重写和调优，又在系统层级调整了资源分配和调度策略，把国产芯片的算力利用率尽可能地压榨了出来。

通过异构混合推理，主流国产芯片MFU（Model FLOPs Utilization）提升了85%-152%。

换算成商业指标，这套系统组合让单位成本的Token产出，提升了2.5倍。

具体到业务场景，在AI4S长序列蛋白质预测场景中，通过融合算子优化，整体预测耗时减少75%；在AIGC视频生成场景中，国产芯片运行DiT模型时，多卡并行视频生成加速比达到了93%。

这套能力，商汤打包成了一门叫「Token工厂」的生意。

有了这座「工厂」，批量处理Token的需求，都可以直接找商汤来供给。

这些系统层面的工作，就是开头那组25倍增长曲线背后真正的支撑。

别人分着干，商汤自己包圆

商汤这套用高端资源撑瓶颈、通用国产卡冲量的混合推理方案，之所以能跑通，光靠技术优化还不够。