跳到主要內容
akiraxtwo super

DGX Spark vs RTX 5090:容量與記憶體頻寬比較

DGX Spark 的 128GB 與 RTX 5090 的 32GB 該怎麼比較?本文整理 273GB/s、1,792GB/s 的頻寬差異,估算 70B 量化模型的記憶體需求,並列出比較本地 LLM 速度時必須固定的測試條件。

/閱讀約 6 分鐘/

最後更新:

DGX Spark 與 RTX 5090 的容量及記憶體頻寬規格對照圖
規格對照,非推理速度實測。RTX 5090 頻寬依 MSI 公布的 28Gbps、512-bit 換算。
目錄+

DGX Spark 與 RTX 5090 的差別,先看兩件事:模型能否完整放入記憶體,以及工作負載能多快完成。128GB Spark 提供較大的共享記憶體;RTX 5090 的 32GB GDDR7 則有較高的理論頻寬。兩個數字不能直接換成推理速度排名。

本文依 2026 年 10 月 28 日查核的官方規格更新,沒有把紙面頻寬當成 tokens/s 實測。若還沒分清 Spark、Station 與機櫃產品,可先看 NVIDIA DGX 產品線與價格查詢。

DGX Spark vs RTX 5090 規格對照

比較項目DGX Spark,本文採 128GB 版GeForce RTX 5090 桌上型顯示卡
記憶體容量128GB,CPU 與 GPU 共享32GB,GPU 顯示記憶體
記憶體類型LPDDR5XGDDR7
記憶體介面256-bit512-bit
記憶體頻寬273GB/s1,792GB/s,依規格換算
採購單位含 CPU、儲存與系統的整機顯示卡,需搭配主機

Spark 資料來自 NVIDIA DGX Spark 規格;RTX 5090 的 32GB 容量可查 NVIDIA 產品頁。MSI GAMING TRIO 規格表列出 28Gbps 與 512-bit,因此理論頻寬為 28 × 512 ÷ 8 = 1,792GB/s。

NVIDIA 目前也列出由部分合作廠商提供的 64GB Spark。詢價或看測試時,先確認是 64GB 還是 128GB;本文不把不同容量版本混在一起。

128GB 能放下模型,不代表輸出速度較快

容量不足時,模型可能無法載入,或需要把部分資料卸載到其他記憶體。容量足夠之後,頻寬、運算能力、核心實作與工作負載才一起決定速度。

以權重讀取量大的逐字生成工作為例,搬移資料的速度會影響延遲;但首段輸入處理、多人批次服務和不同模型架構,未必有相同瓶頸。因此 1,792 ÷ 273 ≈ 6.56 只能解讀成理論頻寬比例,不能宣稱 RTX 5090 的推理速度快 6.56 倍。

Station 的 748GB 又是另一種配置,包含不同頻寬的記憶體區域。若要比較更大容量,可接著讀 DGX Station 的 748GB 記憶體拆解,不要把總容量當成全數高速 GPU 記憶體。

跑 70B 量化模型,要留多少記憶體?

先做一個可重算的容量估算:假設 700 億個參數都用 4-bit 儲存,權重資料約為 70 × 10⁹ × 4 ÷ 8 = 35 × 10⁹ bytes,也就是 35GB,約 32.6GiB。

這還沒計入量化附加資訊、KV cache、執行時工作區,以及系統占用。所以上述模型不能假設會完整放入 RTX 5090 的 32GB;同樣地,也不能保證任何 48GB 卡都能應付所有 70B 模型、長上下文與多人並行設定。

實際評估時,記下模型檔案大小、量化格式、預計上下文長度與同時請求數,再用目標引擎確認峰值記憶體。這份估算是容量檢查起點,並非相容性或效能測試結果。

比較本地 LLM 速度,先固定這五項條件

  1. 模型與版本:同一份權重、相同量化格式,避免拿不同模型的結果比較。
  2. 推理軟體:記錄引擎、驅動與核心版本,並確認支援對應硬體。
  3. 輸入與輸出長度:相同提示內容、上下文長度與生成上限。
  4. 使用方式:單人對話與多人批次服務分開測;記錄 batch size。
  5. 記憶體配置:標註是否完整載入 GPU/共享記憶體,以及是否卸載到 CPU 或磁碟。

結果至少分開記錄首字延遲、後續輸出 tokens/s、峰值記憶體與整機耗電。若比較的是整機成本,也要把 RTX 5090 所需的 CPU、電源與其他主機零件算進去。

要處理的模型超過單卡容量時,Spark 的大容量值得進一步測試;模型已能完整載入時,則應直接比較目標任務的速度。這比用「128GB 一定比較快」或「消費卡一定贏」作為採購依據更有用。

常見問題

DGX Spark 記憶體頻寬是多少?

NVIDIA 公布的 DGX Spark 記憶體頻寬為 273GB/s。本文比較 128GB LPDDR5X 版本;容量與頻寬是兩個不同指標。

RTX 5090 的記憶體頻寬是多少?

以 MSI RTX 5090 GAMING TRIO 的 28Gbps 記憶體速度、512-bit 介面計算,理論頻寬為 1,792GB/s,約為 Spark 的 6.56 倍;這不等於 LLM 吐字速度快 6.56 倍。

32GB RTX 5090 能完整放入 70B 的 4-bit 模型嗎?

若 700 億個參數都以 4-bit 儲存,光權重就約需 35GB,尚未加入量化資訊、KV cache 與執行時開銷,因此不能假設可完整放入 32GB 顯示記憶體。

DGX Spark 一定比 RTX 5090 慢嗎?

不能只看規格下結論。必須固定模型、量化格式、推理引擎、上下文長度與批次大小,並確認是否發生記憶體卸載,再比較首字延遲和輸出 tokens/s。本文沒有提供兩台機器的實測排名。