DeepSeek 全面开源内部推理框架 DeepInfer
AI guide
AI 导读
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。
Story tracking
事件追踪
DeepSeek 将支撑其线上服务的推理框架 DeepInfer 以 Apache-2.0 许可开源，代码托管在 GitHub，并同步开源 Token 编解码组件 deepseek-recipe（MarkTechPost 称其采用 MIT 许可）。官方称该框架已用于 DeepSeek-V4.1-Flash 的高吞吐、低延迟推理，开源旨在帮助社区降低算力成本与能耗；IT之家称其兼容英伟达与华为昇腾平台。 开源范围存在限制。Rohan Paul 称该版本只运行 DeepSeek-V4.1-Flash，限于英伟达 SM100 GPU 或华为昇腾 950 芯片，覆盖离线推理而非完整服务栈，未包含 KV cache 系统、prefill 与 decode 分离及多副本负载均衡；MarkTechPost 同样称其为离线推理，并列出构建需 Linux、GCC 13 以上、Python 3.12，以及 CUDA 13 或 CANN 9.2。 Yuchen Jin 引述 DeepSeek 公布的运营数据：单集群日吞吐 155 万亿 token，按非高峰价格计算每 GPU 小时收入 38 美元。他称 DeepSeek 未披露所用 GPU，并按其假设的 B300 租赁价估算毛利率约 82%。
最新进展：DeepSeek 开源内部推理框架 DeepInfer
事件时间线
X：X.PIN (@thexpin)
DeepSeek 开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 完全开源，代码位于 github.com/deepseek-ai/DeepInfer。
阅读原始报道 ↗X：Yuchen Jin (@Yuchenj_UW)
Databricks 员工调侃 DeepSeek 开源 DeepInfer 并公布推理收入数据
作者以玩笑口吻称自己在 Databricks 的工作就是买大量 GPU 再读 DeepSeek 博客。其引用的内容提到 DeepSeek 正式开源大规模云端推理框架 DeepInfer，基于它为 DeepSeek V4.1 Flash 提供高吞吐低延迟服务，单集群吞吐 155 trillion tokens/天，按非高峰价格计算收入 $38 每卡每小时；引用者推算即便按 $7 每 GPU 小时租用 B300，毛利率约 82%，并称 DeepInfer 同时支持 NVIDIA Blackwell 和华为昇腾。
阅读原始报道 ↗X：邵猛 (@shao__meng)
DeepSeek 开源推理框架 DeepInfer 并发布技术报告，公开大规模部署细节
DeepSeek 开源支撑其线上生产服务的高性能推理框架 DeepInfer，基于 Apache 2.0 许可证，并同步发布技术报告。框架集成 FlashMLA、DeepGEMM、DeepEP 等此前开源内核，加上调度、并行、DSpark 投机解码等系统层实现，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
阅读原始报道 ↗The Decoder：AI News（RSS）
DeepSeek 开源推理框架 DeepInfer，采用 Apache License 2.0
DeepSeek 在 X 上宣布以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架支撑其 V4.1-Flash 模型的大规模快速推理。
阅读原始报道 ↗X：Yuchen Jin (@Yuchenj_UW)
DeepSeek 公开推理集群数据：单集群日服务 155 万亿 token，每 GPU 小时收入 $38
Yuchen Jin 转发 DeepSeek 开源 DeepInfer 推理框架时公布的运营数据：单集群日吞吐 155 万亿 token，按非高峰价格计算每 GPU 小时收入 $38。作者指出 DeepSeek 未披露所用 GPU，但 DeepInfer 支持 NVIDIA Blackwell 和华为昇腾；即使按 $7/GPU 小时租赁 B300 计算，毛利率约 82%。
阅读原始报道 ↗MarkTechPost（RSS）
DeepSeek 开源 DeepInfer 推理框架，支撑 DeepSeek-V4.1-Flash 生产服务
DeepSeek 以 Apache 2.0 许可证开源了支撑其生产服务的 DeepInfer 推理框架，并另以 MIT 许可证发布词元编解码层 deepseek-recipe。
阅读原始报道 ↗X：Tianyi Cui（@tianyi）
DeepSeek 开源自研推理框架 DeepInfer
DeepSeek 开源自研推理框架 DeepInfer，以及 deepseek-recipe 等服务 DeepSeek 模型的关键组件，代码位于 github.com/deepseek-ai/DeepInfer。DeepInfer 已用于大规模支撑 DeepSeek-V4.1-Flash 的高吞吐低延迟推理，官方希望帮助更多企业和机构部署 DeepSeek 模型并从中获利。
阅读原始报道 ↗X：Rohan Paul (@rohanpaul_ai)
DeepSeek 以 Apache 2.0 开源生产推理引擎 DeepInfer
DeepSeek 以 Apache 2.0 许可开源了支撑其生产服务的推理引擎 DeepInfer，8 小时获得 6.3K+ stars。
阅读原始报道 ↗X：Thomas Wolf（Hugging Face 联创/CSO） (@Thom_Wolf)
DeepSeek 开源推理框架 DeepInfer，Thomas Wolf 盘点其连续开源的基础设施项目
Thomas Wolf 转评 DeepSeek 宣布将其生产推理框架 DeepInfer 开源，该框架支撑 DeepSeek-V4.1-Flash 的高吞吐低延迟推理，代码以 Apache 2.0 协议发布在 http://github.com/deepseek-ai/DeepInfer。他同时列举 DeepSeek 此前开源的 FlashMLA（H800 上 580 TFLOPS attention）、DeepEP（MoE 通信）、DeepGEMM（1350+ FP8 TFLOPS 矩阵乘）和 3FS 文件系统，称其开源势头令人敬佩。
阅读原始报道 ↗X：Nathan Lambert (@natolambert)
DeepSeek 开源自研推理框架 DeepInfer
DeepSeek 宣布开源自研推理框架 DeepInfer，该框架以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的规模化运行，代码见 github.com/deepseek-ai/DeepInfer。Nathan Lambert 转评称这是获取模型采用的独特方式，并指出发布时机恰逢美国政府刚在联邦机构禁用 DeepSeek，颇为讽刺。
阅读原始报道 ↗X：Oran Ge (@oran_ge)
DeepSeek 完全开源自研推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，代码地址 github.com/deepseek-ai/DeepInfer。官方称 DeepInfer 在生产环境中支撑 DeepSeek-V4.1-Flash，实现高吞吐和低延迟，开源旨在帮助社区降低算力成本与能耗。作者认为这将推动所有模型降价。
阅读原始报道 ↗X：马东锡 NLP (@dongxi_nlp)
DeepSeek 以 Apache-2.0 开源高性能推理框架 DeepInfer
DeepSeek 以 Apache-2.0 许可开源了高性能大规模推理框架 DeepInfer，代码在 https://github.com/deepseek-ai/DeepInfer。支持特性包括优化的 kernel 与模型采样运行时、Attention DP / 均衡 CP、MoE EP + EPLB、DSpark 与置信度调度验证、SWA bounded replay、异步调度（零开销 batch 调度器）、batch-invariant 推理、确定性采样和结构化输出。
阅读原始报道 ↗X：DeepSeek (@deepseek_ai)
DeepSeek 开源自研推理框架 DeepInfer
DeepSeek 宣布其自研推理框架 DeepInfer 完全开源，代码托管在 http://github.com/deepseek-ai/DeepInfer。该框架以高吞吐、低延迟支撑 DeepSeek-V4.1-Flash 的大规模推理，官方称开放生产技术栈旨在帮助社区降低算力成本与能耗。
阅读原始报道 ↗X：Tianyi Cui（@tianyi）
DeepSeek 以 Apache-2.0 开源大规模推理框架 DeepInfer
DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。支持优化 kernel、模型与 sampler 运行时，Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及 DSpark、置信度调度验证、SWA bounded replay、零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
阅读原始报道 ↗IT之家·人工智能
DeepSeek 将内部推理框架 DeepInfer 全面开源
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，此前已开源大模型、TileLang 编译工具及推理算子库。DeepInfer 集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台，已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
阅读原始报道 ↗公众号：DeepSeek（深度求索）
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，并同步开源生产级 Token 编解码组件 deepseek-recipe。
阅读原始报道 ↗