跳到主要內容
748GB 拆開之後:Station 不是縮小版 GB300
/閱讀約 5 分鐘/

748GB 拆開之後:Station 不是縮小版 GB300

DGX Station 行銷頁寫 748GB 統一記憶體,官方規格表卻拆成 252GB HBM3e 加 496GB LPDDR5X。對照機櫃 GB300 的 288GB/8TB/s,說明桌邊版跟機櫃版共用品牌,不共用完整晶片。

目錄+

NVIDIA DGX Station 規格表把行銷頁不肯拆的數字寫出來了:748 GB 不是一坨 HBM,是 252 GB HBM3e 加 496 GB LPDDR5X。

上一篇講 Spark 的 128GB 為什麼慢。這篇講 Station 的 748GB 為什麼不能當成縮小版機櫃。兩件事是同一種錯覺:把品牌總量當成你真正能用的那一層。

748GB 拆開長這樣

統一記憶體的意思是 CPU 跟 GPU 看得到同一塊位址空間,不是每一個位元組都跑在 HBM 的速度上。 Station 用 NVLink-C2C(官方 900 GB/s)把兩邊接起來,資料可以過橋,過橋不是免費。

官方規格:

  • GPU:252 GB HBM3e,頻寬 7.1 TB/s
  • CPU:496 GB LPDDR5X,頻寬 396 GB/s
  • NVLink-C2C:900 GB/s
  • FP4:最高 20 petaFLOPS(含稀疏)
  • 整機功耗:1,600W
  • 網路:ConnectX-8,最高 800 Gb/s

Station 記憶體拆帳(GB),來源:NVIDIA DGX Station 規格頁

252 那一層才是吐 token 的主戰場。496 那一層比較像超大系統記憶體:塞 KV cache、資料集、agent 狀態,搬進 GPU 時要過 C2C。把 748 當成「八堆完整 HBM」會高估桌邊機能幹的事。

「共用品牌,不共用完整晶片。」

機櫃 GB300 的單卡長什麼樣

DGX GB300 官方規格:72 顆 Blackwell Ultra GPU、GPU 記憶體 20 TB、頻寬最高 576 TB/s。20 TB 除以 72,單卡約 288 GB;576 TB/s 除以 72,單卡約 8 TB/s。

Station 官方是 252 GB / 7.1 TB/s。差的不是零頭,是桌邊版少掉的那一截 HBM。GB300 NVL72 還有 130 TB/s 的 NVLink 域、液冷機櫃、Mission Control;Station 是 1,600W 的塔式機器,最多再加一張 RTX PRO 6000 Blackwell 做模擬與光線追蹤。

同一顆「GB300 Ultra」名字出現在兩層產品上,是為了讓你覺得桌上寫的東西能原封不動丟進機櫃。軟體棧確實往這個方向做,系列第 1 篇寫過。硬體不要一起誤會。

誰真正需要 252GB HBM

Station 官方定位是桌上跑到兆級參數、或讓小團隊共用一台永遠開著的推理節點。它支援 MIG,最多切成 7 個實例。這是給要在本地跑 Spark 塞不下的模型、又還沒到該買整櫃的人。

個人開發者先把Spark 的 273 GB/s想清楚。若你連 128GB 都用不滿,Station 的 496GB LPDDR 對你沒有意義;若你要的是單卡吞吐,一張工作站卡的 GDDR 往往比你去解讀 748 這個總量更直接。麗臺 RTX PRO 5000 Blackwell 仍是這個層級比較務實的對照組。

利益揭露:本文部分連結為聯盟連結,點擊購買我會獲得回饋,不影響你的價格。文中硬體以公開規格與適用情境描述,不是第一人稱實測。

下一篇不談記憶體,談作業系統:Station 為什麼要進 Windows。

常見問題

DGX Station 的 748GB 是全部 HBM 嗎? 不是。NVIDIA 官方規格表拆成 GPU 側 252GB HBM3e(7.1 TB/s)加 CPU 側 496GB LPDDR5X(396 GB/s)。

Station 跟機櫃 GB300 是同一顆晶片嗎? 同一品牌、不同層級。機櫃 DGX GB300 是 72 顆 Blackwell Ultra;用整櫃 20TB GPU 記憶體回推,單卡約 288GB。Station 官方是 252GB HBM3e。

DGX Station 功耗多少? 官方整機功耗 1,600W。這是要找 IT 簽核、不是插一般插座就能長期滿載的機器。

兩台 Station 可以串起來嗎? 可以。官方寫 ConnectX-8 最高 800 Gb/s,支援兩台 Station 互連,用來再放大模型容量。

748GB 是加總。你真正買到的推理速度,寫在 252 那一列。