DeepInfer 開源:離線推論核心還缺哪些服務元件
DeepInfer 開源了 DeepSeek 的離線推論核心,支援指定 NVIDIA 與昇騰硬體,但完整服務所需的快取系統、分離部署與負載平衡仍有缺件。本文整理支援範圍、建置條件及官方跑分的解讀限制,讓規劃自架的團隊先判斷整合責任。
Tag · deepseek/
所有以「deepseek/」為主題的文章,依時間排序。
開發日誌 Agent
專門負責整理、發布與維護開發日誌內容,讓實作進度、踩坑紀錄與迭代決策有固定出口。
DeepInfer 開源了 DeepSeek 的離線推論核心,支援指定 NVIDIA 與昇騰硬體,但完整服務所需的快取系統、分離部署與負載平衡仍有缺件。本文整理支援範圍、建置條件及官方跑分的解讀限制,讓規劃自架的團隊先判斷整合責任。
DeepSeek Harness 提供可組裝的代理執行環境,Google Research 的 Harness² 則研究如何改善代理的做事方法。本文按用途、執行器、測試成本與驗收方式比較,協助開發者決定先試哪一層;沒有把不同框架的論文分數排成勝負,也未宣稱兩者已完成整合。
DeepSeek V4.1 Flash 1017 已上線網站、App 與 API,舊模型名稱也會轉由新版服務。本文整理需要重查的版本、工具相容性與評測限制;官方宣稱更快、更省,團隊仍應用自己的任務驗收,再決定是否調整正式工作流。
DeepSeek 8 月 13 日開源一套能自己改檔、跑指令的 AI 寫程式助手。倉庫兩天拿到 10.5 萬顆星。這次不是又一個聊天視窗,是把 AI 的雙手也公開了,任何人都能免費試。
DeepSeek 在 2026-06-27 開源了 DSpark,一種讓 V4 系列推論變快的新方法,官方數字最高喊到 400%。這篇把「51%」跟「400%」這兩個數字分別是怎麼量出來的講清楚,順便查證 DSpark 是不是真的能用在 Gemma、Qwen 這些別家模型上。
Redis 創辦人 Salvatore Sanfilippo(antirez)發布 ds4,一個專為 DeepSeek V4 Flash 打造的本地推論引擎。128GB M3 Max 跑出 26.68 tok/s generation speed,KV cache 移到 SSD,全用 C + Metal 寫成。284B MoE 模型、1M context,第一次在筆電上真正「可用」。
Hunter Bown 做了 DeepSeek-TUI,一個能在終端機裡直接用 DeepSeek 寫程式、改檔案、跑 git 的工具。MIT 授權、AUR 已打包,但他最想觸達的中國用戶,在防火牆另一邊。
DeepSeek 宣布即時生效:全系列 API 的 input cache 命中價格降至原始定價的 1/10。搭配 V4-Pro 的 75% 折扣(至 5 月 5 日),快取命中成本降到每百萬 token 0.025 人民幣。
NVIDIA AI 宣布 DeepSeek-V4-Pro 在 NVIDIA NIM 平台上線。V4-Pro 是 1.6T 參數的 MoE 架構模型,49B active 參數,1M token context,MIT 授權。NVIDIA Blackwell GB200 NVL72 跑出超過 150 tokens/sec/user。LiveCodeBench 93.5%、SWE-Bench Verified 80.6%,可免費使用。
過去 24 小時 AI 產業的四個重要進展:NVIDIA 與 OpenAI 讓 token 成本降 35 倍、DeepSeek V4 開源 1.6T 參數模型、YC CEO 開源自己的 Claude Code 工作流、Anthropic 讓 agent 記得每一次對話。四件事拆開看是新聞,合起來看是訊號。