跳到主要內容
DeepSeek-V4-Pro 上架 NVIDIA NIM:1.6T 參數全球最大開源模型,Blackwell GPU 免費跑
/閱讀約 5 分鐘/

DeepSeek-V4-Pro 上架 NVIDIA NIM:1.6T 參數全球最大開源模型,Blackwell GPU 免費跑

NVIDIA AI 宣布 DeepSeek-V4-Pro 在 NVIDIA NIM 平台上線。V4-Pro 是 1.6T 參數的 MoE 架構模型,49B active 參數,1M token context,MIT 授權。NVIDIA Blackwell GB200 NVL72 跑出超過 150 tokens/sec/user。LiveCodeBench 93.5%、SWE-Bench Verified 80.6%,可免費使用。

目錄+

NVIDIA AI 宣布 DeepSeek-V4-Pro 上架 NVIDIA NIM 平台(build.nvidia.com),可以免費使用,跑在 NVIDIA Blackwell GPU 上。

NVIDIA AI 在另一則貼文進一步點名「Blackwell Ultra」與「agentic workflows」這兩個重點——150 TPS/user 不是隨便一張 GPU 跑得出來,是 GB200 NVL72 / Blackwell Ultra 等級的硬體,並且專門為 agent 多輪呼叫的互動性設計。

V4-Pro 是 DeepSeek 第四代旗艦模型,1.6 兆參數,是目前參數量最大的公開開源模型。MIT 授權,可以商用。

架構數字

DeepSeek V4-Pro 的核心規格:

項目V4-Pro
總參數1.6T
Active 參數(每 token)49B
Context window1M tokens
最大輸出384K tokens
訓練資料32T+ tokens
授權MIT

MoE(Mixture of Experts)架構的關鍵是這個比例:1.6T 的知識容量,但每次推論只啟動 49B 的計算量。這讓 V4-Pro 的實際推論成本接近一個 49B 的 dense 模型,而不是 1.6T。

Blackwell 上的效能

NVIDIA 在 GB200 NVL72 系統上的測試結果:超過 150 tokens/sec/user。

對比:GPT-4 類模型在商業 API 上通常是 30-80 tokens/sec。150 tokens/sec 在 1.6T 這個規模上是工程上的成就,靠的是 Blackwell 的 FP4 推論能力和 NVLink 的高頻寬互連。

V4-Pro 本身的架構也有針對長 context 的優化——在 1M token 情境下,它只需要 V3.2 版本 27% 的推論 FLOPs 和 10% 的 KV cache,透過 CSA(Compressed Sparse Attention)和 HCA(Heavily Compressed Attention)的混合注意力機制達成。

Benchmark

DeepSeek 和第三方(Together AI)公布的 benchmark 數字:

  • LiveCodeBench:93.5%(coding 競技題)
  • SWE-Bench Verified:80.6%(真實 GitHub issue 修復)
  • GPQA Diamond:90.1%(研究生等級科學問答)
  • HMMT 2026:95.2%(數學競賽)
  • Codeforces rating:3206(程式競賽排名)
  • MCPAtlas:73.6%(工具調用協調)

V4 同時有兩個版本:V4-Pro(1.6T,旗艦)和 V4-Flash(284B,49B active,速度優先)。兩者都支援 1M token context,都是 MIT 授權。

三種推論模式

V4-Pro 支援三種推論模式,使用者可以在同一個模型上按需求切換:

  • Non-think:跳過 chain-of-thought,速度最快,適合不需要複雜推理的任務
  • Think High:標準推理模式,邏輯分析
  • Think Max:最大推理力道,對應上面那些最高 benchmark 數字

這個設計在 DeepSeek V3 系列就開始出現,V4 繼續。對開發者來說,同一個 API、同一個模型,可以按任務調整推論成本和品質的平衡。

推論框架 Day 0 支援:SGLang 與 vLLM

V4 發布當天,兩大開源推論框架同步上線支援。

SGLang(LMSYS) 在 Day 0 提供完整 stack——從架構層到底層 kernel 的最佳化都到位。SGLang 也順勢公布針對 V4 的 RL 訓練 pipeline「Miles」(由 radixark 維護),延續他們之前 slime 框架的設計,主打大規模 MoE 的後訓練。SGLang 在 V3.2 時代就建立了 Day 0 支援的節奏,V4 是同一條路線的延伸。

vLLM 同步支援 V4-Pro 與 V4-Flash 兩個版本,並發了一篇從第一性原理出發的 long-context attention 實作 walkthrough——解釋 V4 在 1M token context 下的注意力機制如何在 vLLM 中落地。對自架推論的團隊來說,這份文件比任何 marketing 都有用。

兩個框架同日上線意味著什麼?意味著開源社群已經把 DeepSeek 當成預設要支援的旗艦——不是「等等看」、不是「下個月再說」,是 Day 0。這個生態效應比模型本身的數字還重要:SGLang 和 vLLM 是中小型團隊自架部署的主力,它們的支援決定了這個 1.6T 模型有沒有辦法真的「跑出 NIM 之外」。

開源最大的意義

1.6T 參數、MIT 授權、可商用——這個組合的市場意義不只是技術。

過去「最大的模型」幾乎等於「閉源、昂貴、需要特殊存取」。V4-Pro 打破了這個預設:你可以在 NIM 上免費用,也可以自己部署(如果你有 Blackwell 叢集的話)。

DeepSeek 的出現改變了過去一年的開源 LLM 競爭格局。V4-Pro 是這個軌跡上目前的頂點——但 Qwen、Llama 等系列都在同一條路上走。1.6T 開源今天是新聞,明年可能是標配。

NVIDIA NIM 平台:build.nvidia.com