10 月 20 日，DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，同步开放生产级 Token 编解码组件 deepseek-recipe。这是继大模型权重、TileLang 编译工具、推理算子库之后，DeepSeek 开源路线的又一次下沉——这一次，交出来的是那套支撑 DeepSeek V4.1 Flash 线上服务的「怎么把 token 变便宜」的完整答案。

一条被反复验证的路线：开源到基础设施层

复盘 DeepSeek 这一年的动作，会发现一条非常清晰的主线：每往基础设施走深一层，就开源一层。

模型权重之后是算子库（FlashMLA、DeepGEMM、DeepEP），然后是编译工具 TileLang，现在轮到推理框架本体。deepseek-recipe 则补上了最后一块看似不起眼的拼图：API 协议与模型 Token 之间的编解码转换，用 Rust 实现、支持 Chat Completions、Responses 和 Messages 三种协议，处理逻辑与官方 API 完整对齐。

这些组件拼在一起，意味着一个第三方团队第一次可以用 DeepSeek 官方同款的技术栈，从模型加载、算子执行、推测解码到 API 兼容层，搭出一套接近官方体验的部署方案。官方明确说了：未来新模型的推理代码和优化也会持续在这个框架里更新——开源仓库变成了官方推理能力的「上游」，而不是事后的文档库。

数字背后：推理效率就是定价权

InfoQ 等媒体披露的线上数据值得细看：基于 DeepInfer 的单一集群日吞吐已达 155 万亿 token，按谷价折算每卡每小时收入 38 美元。这三个数字连起来读，其实是同一句话——DeepSeek 的低价不是补贴，是工程效率换来的定价权。

几个设计决策能说明这套系统「抠」到了什么程度：

KVCache 被做成了集群级数据层。 100 PiB 的 SSD 存储专门用来存 KVCache，Chatbot 流量的缓存保留 7 天，Agent 流量保留 3 天。判断依据是命中曲线：Chatbot 有明显的长尾重复命中，TTL 缩到 3 天命中率会掉 0.5%-1%，宁可多买 SSD 也不重复计算。

SWA Bounded Replay 是一次诚实的返工。 V4 时期曾把滑动窗口注意力的 KVCache 也写入持久化存储，跑了一段时间发现这类缓存只在单次会话的几分钟内被反复使用，却占了近一半持久缓存容量。V4.1 改成缺失时只重算最近 128 个 token，重算成本从「随上下文长度和层数增长」变成近似固定开销，总 Prefill 计算量接近减半。大厂公开承认某个设计做错了并给出修正，比多一篇论文有信息量。

推测解码不再固定验证 5 个 token。 DSpark 框架加入置信度预测，按每个位置的预计接受率动态决定验证多少个，线上吞吐提升 6%。6% 听起来不大，但乘以 155 万亿的基数，就是每天省出一座小数据中心的算力。

缩容有纪律。 实例下线有 1 分钟宽限期，未完成的请求连着 KVCache 一起转交；在线实例永远比理论需求多，配额占用率高于 0.8 时直接禁止缩容。这些细节在论文里不会出现，但对每一个自己搭过推理集群的工程师来说，全是血泪换来的经验。

兼容英伟达与昇腾，才是地缘语境下的真故事

DeepInfer 明确支持 NVIDIA SM100 与华为昇腾 950 两种硬件平台。放在上周美国 DHS 下令联邦系统移除 DeepSeek 的背景下看，这个兼容列表本身就是表态：美国市场可以关上门，但 DeepSeek 的开源栈正在让全球每一个有昇腾或英伟达卡的组织都能跑官方同款推理。

这呼应了 9 月底 DeepSeek 开源昇腾全套组件时我们讨论过的判断——CUDA 的护城河正在被从「高级语言」这一层挖。DeepInfer 的意义更进一步：如果说算子库和编译器是「零件」，推理框架就是「发动机总成」。零件开源了别人还要自己组装，总成开源了，装上就能跑。

冷静看：开源的不是全部

需要说清楚边界。DeepSeek 自己承认，KVCache 管理与负载均衡组件因与内部基础设施耦合较深，代码尚未完整开源；初期仓库提供的是离线推理能力，完整的在线服务（PD 分离部署、多副本负载均衡）仍需要部署方自行搭建。引擎的执行路径可读可测，但「照抄 DeepSeek 运维」还做不到。

另外，部分运行数据（如每卡每小时 38 美元收入）来自官方自述口径，第三方无法独立验证，读者应保留一分审慎。

结语：竞争的下一站是「每 token 成本」

当模型能力进入平台期、榜单差距缩小到个位数分数时，真正决定谁被大规模采用的因素正在转移到模型之外：推理成本、部署弹性、硬件自由度。DeepInfer 开源的潜台词是——DeepSeek 把竞争从「我的模型更强」拉到了「用我的全套开源栈，你的每 token 成本最低」。

Meta 开源权重拉低了模型层门槛，DeepSeek 正在拉低基础设施层门槛。对绝大多数买不起万卡集群的团队来说，后者可能才是普惠真正发生的地方。

参考来源

• DeepSeek 官方公众号《DeepSeek 开源推理框架：走向真正普惠的未来》
• 腾讯新闻/凤凰网科技《DeepSeek开源推理框架DeepInfer：兼容英伟达与昇腾，推动大模型普惠》（2026-10-20）
• 观察者网《美国一边禁，DeepSeek 一边开源》（2026-10-20）
• InfoQ《DeepSeek开源最新推理框架：单集群日吞吐155万亿Token，KVCache可保存7天》（2026-10-20）
• DeepSeek 知乎技术报告：https://zhuanlan.zhihu.com/p/2095560295930508953
• GitHub: https://github.com/deepseek-ai/DeepInfer ｜ https://github.com/deepseek-ai/deepseek-recipe