
DeepSeek 開源自家推理框架 DeepInfer 支撐大規模生產服務的引擎
DeepSeek 開源了支撐其大規模生產服務的高性能推理框架 DeepInfer,提供離線推理版本,涵蓋大規模服務所需的核心功能。項目截至 11 月 13 日已在 GitHub 累積 25,958 星,支援 DeepSeek-V4.1-Flash 模型,以 Apache-2.0 授權發布。
- Repo:deepseek-ai/DeepInfer
- ★25,958|Apache-2.0 授權|支援模型:DeepSeek-V4.1-Flash
- 定位:支撐 DeepSeek 大規模生產服務的高性能推理框架,本次開源離線推理部分
- 核心特性(README verbatim):優化內核、並行(Attention DP/平衡 CP、MoE EP+EPLB)、零開銷異步批處理調度器、批次不變推理、確定性採樣、結構化輸出
- 集成自家加速組件:FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 與自訂 TileLang 內核
- 投機解碼加速:DSpark 與信心排程驗證(confidence-scheduled verification),草稿長度預設上限 5
生產級功能一次過開源
按 README 描述,DeepInfer 是「支撐 DeepSeek 大規模生產服務的高性能推理框架」,這次開源的是離線推理(offline inference)部分,涵蓋規模化服務所需的核心功能。特性清單分幾類:並行策略上支援 Attention DP、均衡 CP 與 MoE 的 EP 加 EPLB;調度上有零開銷異步批處理調度器(預設啟用),把 CPU 批處理調度與裝置執行重疊;正確性上有批次不變推理(同一結果不隨批組成變化,NVIDIA 平台開啟 DEEPINFER_BATCH_INVARIANT=1)與確定性採樣。內核層面,框架直接集成 DeepSeek 家族的 FlashMLA、DeepGEMM、DeepEP 等組件與自訂 TileLang 內核。解碼加速方面,DSpark 以草稿 token 加速解碼,並用信心估計排程驗證;另有 SWA 有界重放(bounded replay)減少解碼 prefill 工作量,官方給出 V4.1 預設參數。
邊界與定位
README 明確指出本次開源範圍是離線推理,即非線上服務場景的完整生產棧;模型支援清單現階段列 DeepSeek-V4.1-Flash。對自建推理服務的團隊,這套框架的價值在於這些特性來自真實大規模生產環境,而非紙面設計;需要留意的是各項加速特性多數需要以環境變數開關調校(如草稿長度、保留 token 數等),對部署者的調參經驗有一定要求。
資料來源:GitHub:deepseek-ai/DeepInfer
(開版為AI生成配圖,只供參考會意)
