DeepSeek-V4-Pro 上架 NVIDIA NIM:1.6T 參數全球最大開源模型,Blackwell GPU 免費跑
NVIDIA AI 宣布 DeepSeek-V4-Pro 在 NVIDIA NIM 平台上線。V4-Pro 是 1.6T 參數的 MoE 架構模型,49B active 參數,1M token context,MIT 授權。NVIDIA Blackwell GB200 NVL72 跑出超過 150 tokens/sec/user。LiveCodeBench 93.5%、SWE-Bench Verified 80.6%,可免費使用。
目錄+
NVIDIA AI 宣布 DeepSeek-V4-Pro 上架 NVIDIA NIM 平台(build.nvidia.com),可以免費使用,跑在 NVIDIA Blackwell GPU 上。
NVIDIA AI 在另一則貼文進一步點名「Blackwell Ultra」與「agentic workflows」這兩個重點——150 TPS/user 不是隨便一張 GPU 跑得出來,是 GB200 NVL72 / Blackwell Ultra 等級的硬體,並且專門為 agent 多輪呼叫的互動性設計。
V4-Pro 是 DeepSeek 第四代旗艦模型,1.6 兆參數,是目前參數量最大的公開開源模型。MIT 授權,可以商用。
架構數字
DeepSeek V4-Pro 的核心規格:
| 項目 | V4-Pro |
|---|---|
| 總參數 | 1.6T |
| Active 參數(每 token) | 49B |
| Context window | 1M tokens |
| 最大輸出 | 384K tokens |
| 訓練資料 | 32T+ tokens |
| 授權 | MIT |
MoE(Mixture of Experts)架構的關鍵是這個比例:1.6T 的知識容量,但每次推論只啟動 49B 的計算量。這讓 V4-Pro 的實際推論成本接近一個 49B 的 dense 模型,而不是 1.6T。
Blackwell 上的效能
NVIDIA 在 GB200 NVL72 系統上的測試結果:超過 150 tokens/sec/user。
對比:GPT-4 類模型在商業 API 上通常是 30-80 tokens/sec。150 tokens/sec 在 1.6T 這個規模上是工程上的成就,靠的是 Blackwell 的 FP4 推論能力和 NVLink 的高頻寬互連。
V4-Pro 本身的架構也有針對長 context 的優化——在 1M token 情境下,它只需要 V3.2 版本 27% 的推論 FLOPs 和 10% 的 KV cache,透過 CSA(Compressed Sparse Attention)和 HCA(Heavily Compressed Attention)的混合注意力機制達成。
Benchmark
DeepSeek 和第三方(Together AI)公布的 benchmark 數字:
- LiveCodeBench:93.5%(coding 競技題)
- SWE-Bench Verified:80.6%(真實 GitHub issue 修復)
- GPQA Diamond:90.1%(研究生等級科學問答)
- HMMT 2026:95.2%(數學競賽)
- Codeforces rating:3206(程式競賽排名)
- MCPAtlas:73.6%(工具調用協調)
V4 同時有兩個版本:V4-Pro(1.6T,旗艦)和 V4-Flash(284B,49B active,速度優先)。兩者都支援 1M token context,都是 MIT 授權。
三種推論模式
V4-Pro 支援三種推論模式,使用者可以在同一個模型上按需求切換:
- Non-think:跳過 chain-of-thought,速度最快,適合不需要複雜推理的任務
- Think High:標準推理模式,邏輯分析
- Think Max:最大推理力道,對應上面那些最高 benchmark 數字
這個設計在 DeepSeek V3 系列就開始出現,V4 繼續。對開發者來說,同一個 API、同一個模型,可以按任務調整推論成本和品質的平衡。
推論框架 Day 0 支援:SGLang 與 vLLM
V4 發布當天,兩大開源推論框架同步上線支援。
SGLang(LMSYS) 在 Day 0 提供完整 stack——從架構層到底層 kernel 的最佳化都到位。SGLang 也順勢公布針對 V4 的 RL 訓練 pipeline「Miles」(由 radixark 維護),延續他們之前 slime 框架的設計,主打大規模 MoE 的後訓練。SGLang 在 V3.2 時代就建立了 Day 0 支援的節奏,V4 是同一條路線的延伸。
vLLM 同步支援 V4-Pro 與 V4-Flash 兩個版本,並發了一篇從第一性原理出發的 long-context attention 實作 walkthrough——解釋 V4 在 1M token context 下的注意力機制如何在 vLLM 中落地。對自架推論的團隊來說,這份文件比任何 marketing 都有用。
兩個框架同日上線意味著什麼?意味著開源社群已經把 DeepSeek 當成預設要支援的旗艦——不是「等等看」、不是「下個月再說」,是 Day 0。這個生態效應比模型本身的數字還重要:SGLang 和 vLLM 是中小型團隊自架部署的主力,它們的支援決定了這個 1.6T 模型有沒有辦法真的「跑出 NIM 之外」。
開源最大的意義
1.6T 參數、MIT 授權、可商用——這個組合的市場意義不只是技術。
過去「最大的模型」幾乎等於「閉源、昂貴、需要特殊存取」。V4-Pro 打破了這個預設:你可以在 NIM 上免費用,也可以自己部署(如果你有 Blackwell 叢集的話)。
DeepSeek 的出現改變了過去一年的開源 LLM 競爭格局。V4-Pro 是這個軌跡上目前的頂點——但 Qwen、Llama 等系列都在同一條路上走。1.6T 開源今天是新聞,明年可能是標配。
NVIDIA NIM 平台:build.nvidia.com