DeepInfer 開源：離線推論核心還缺哪些服務元件
DeepInfer 開源了 DeepSeek 的離線推論核心，支援指定 NVIDIA 與昇騰硬體，但完整服務所需的快取系統、分離部署與負載平衡仍有缺件。本文整理支援範圍、建置條件及官方跑分的解讀限制，讓規劃自架的團隊先判斷整合責任。
DeepSeek 於 10 月 20 日宣布開源 DeepInfer，這次公開的是離線推論核心，支援 DeepSeek-V4.1-Flash。準備自架的團隊可以研究引擎，但還不能把下載原始碼等同取得完整線上服務。來源：官方公告
官方列出的能力包括非同步排程、結構化輸出與草稿 token 驗證。例如需要模型回傳固定資料格式時，結構化輸出可用 JSON schema 等規則限制生成；這是文件提供的功能，本站尚未安裝或實跑驗證。來源：固定版本 README
硬體清單目前列 NVIDIA SM100 GPU 與華為 Ascend 950 NPU，不能外推成所有 NVIDIA 顯卡都能直接使用。建置條件是 Linux、GCC 13 以上、Python 3.12；NVIDIA 路線需 CUDA 13，昇騰路線需 CANN 9.2。
完整服務還差什麼？README 明列這次版本未包含完整服務所需的 KV cache 系統、VE／Prefill／Decode 分離部署，以及 prefill、decode 資料平行副本的負載平衡。即使不少引擎功能已實作，也不代表服務層整合已完成。
官方 Q&A 說明，快取管理與負載平衡程式和內部基礎設施緊密相連，目前尚未完整公開。它描述的是官方系統架構，不能直接當作這份開源程式已交付全部元件的證據。來源：部署 Q&A
評估時先對照現有晶片與軟體版本，再盤點誰負責補齊服務元件。官方離線範例預設使用 1017 權重，首次執行會下載到模型快取，也能改指定本機目錄；「離線推論」不表示首次準備環境一定不用連網。
官方跑分分別採四張 SM100 做 prefill、六十四張做 decode，各階段位於單一 scale-up 域。這是測試配置，不是每種部署的最低採購需求，也沒有證明對所有競品的效能優勢。引擎程式採 Apache 2.0，模型權重條款仍須另查模型卡。
若你還在決定要自架還是用託管服務，可先讀 API、自架與端側部署的取捨，把硬體與維運責任放進同一張評估表。