清华系团队发布国产Token优化工厂：兼容10余种国产芯片，日吞吐千亿Token

清华系团队发布国产Token优化工厂：兼容10余种国产芯片，日吞吐千亿Token

让每一份算力都变成有效Token

允中 发自 凹非寺

量子位 | 公众号 QbitAI

AI基础设施的竞赛规则，正在被改写。

上半场比的是谁的卡多，下半场比的是谁能把卡用好。

7月17日，WAIC 2026上海开幕，智算赛道200多家企业同台，新品密集发布。

但在一片“晒芯片、秀参数”的声浪里，是石科技的发布会却显得有些不同：

是石科技创始人兼董事长闫博文在台上，不讲芯片，不讲模型，只讲一个词：效率。

因为中国的算力，正在被大量浪费——50多个智算中心，超过1000 EFLOPS的智能算力规模，平均利用效率却远远没有跑满。

算不快、长上下文响应下降，是普遍现象。

是石给出的解法，叫拓元（Vectron），一座国产Token优化工厂。

效率，才是未来AI基础设施的关键词

中国已建设50多个智算中心，智能算力总规模已超过1000 EFLOPS。

但平均利用效率仍有巨大提升空间。

“大量算力正在被浪费，算不快、长上下文多模态响应下降，是普遍现象。”闫博文说。

是石科技依托国家级计算中心工程经验积淀，持续投入大规模集群研发，建设万卡级国产大集群，持续稳定运营，优化推理效率，构筑了深厚壁垒，率先打通从底层芯片到上层应用的超智融合全链路，真正把国产大集群从“点亮”变成“跑满”，让庞大国产算力切实转化为产业可用的Token稳定生产力。

“所以我们在重新思考，算力基础设施建设提速的同时，如何进一步释放算力价值？”闫博文认为，“十五五”期间，中国算力产业总投资预计达到7万亿元。

如果算力利用效率能够提升十到二十个百分点，也将释放万亿级的算力价值空间，会让各行各业以更低的成本进入到AI的世界里，激发出更多的应用需求。

这背后的一个潜台词是行业共识的转折：AI基础设施的竞争，正从“算力规模竞赛”转向“算力效率竞赛”。

未来AI基础设施的关键，不只在于芯片数量，更在于能否将芯片、互联、内存、散热、调度与软件栈整合为稳定可用的大规模系统。

而拓元，正是是石科技为这场“效率竞赛”交出的系统性答卷。

让每一份算力，转化为稳定、高效、有价值的Token

目前AI基础设施面临的效率难题主要包括：异构算力难以统一调度、大模型推理缺乏深度优化、长上下文导致显存与成本压力骤增、国产芯片生态适配成本高昂等。

针对这些痛点，拓元不应只是一个模型，也不只是一个工具。是石科技希望打造的，是一套完整的AI Infra优化体系。

具体来说——

在任务自适应优化上：依托请求画像匹配最优计算链路，算力按需分配，减少资源浪费。

不同的推理任务自动匹配最合适的算力资源，而不是“一把抓”。

- 在算子库优化上：硬件专属算子融合编译，充分释放芯片极限算力。这意味着每颗国产芯片不再只是“能用”，而是被“榨”出了最优性能。

- 在模型与推理框架优化上：兼容主流国产芯片与大模型，异构深度调优，提升业务并发量。

- 在异构集群调度上：破除跨地域、多芯片算力孤岛，统一纳管调度，盘活闲置算力。

闫博文介绍，拓元全面兼容昇腾、昆仑芯、天数智芯、太初、瀚博半导体、摩尔线程、沐曦、燧原等10余种国产算力芯片，适配20余个主流模型，实现国产异构算力池的统一调度与推理加速，每日Token吞吐量达千亿级别。

对于企业客户而言，这意味着不管你的底层跑的是什么国产芯片，拓元都能让你的算力资源池被统一管理、优化调度，最终产出更多可用的Token。

用核心技术突破，把算力“榨”到极致

发布会上，闫博文重点介绍了拓元的多项核心技术突破，每一项都指向企业使用大模型过程中的真实痛点。

KV Cache压缩：让长文本不再烧钱

企业使用大模型时面临一个现实的问题，就是模型越来越强，运行成本也越来越高。

尤其当上下文变长时，显存压力急剧攀升。

传统方法更多依赖输入阶段判断信息价值，但在真实业务中，模型需要关注往往动态变化的是什么。

拓元的结果感知驱动KV Cache压缩技术，可以在不牺牲模型效果的前提下，显著压缩KV Cache、降低显存压力，让长文本、大规模AI应用真正能够经济地运行。