230B 參數模型在家跑的實測：MiniMax M2.7 在 4 種硬體配置的推理速度

去年這個時候，230B 參數的模型還是「只有 OpenAI、Anthropic、幾家中國大廠才跑得動」的規格。推理一次要上百張 H100，電費比模型本身還貴。一般開發者想玩，只能透過 API，每個 token 都是計費器在轉。

stevibe 這篇實測推翻了這個直覺。他把 MiniMax M2.7 — 230B 參數的中國開源前沿模型 — 透過 Unsloth 的 Dynamic 4-bit GGUF 量化壓到 108GB，然後在四種硬體上跑出了實際可用的推理速度。最快的配置跑到 120 tok/s，TTFT 不到一秒。這個數字比 ChatGPT Plus 網頁版還快，而且是在你自己的機器上。

MiniMax M2.7 是什麼

MiniMax 是上海的 AI 公司，M2 系列是他們的 agentic coding 和 chat 專用開源模型；M2.7 是這個系列的最新版本，主打 agentic 工作流與程式碼任務。

技術規格幾個關鍵數字要記住：

230B 總參數，但只有 10B active。這是 MoE（Mixture of Experts）架構：每個 token 只啟用 1/23 的權重，實際計算量接近一個 10B dense 模型。這是它能在消費級硬體上跑到 120 tok/s 的根本原因
Context window：200K（精確數字是 196,608 max tokens）。注意這不是 1M，我之前一些資料講錯
Benchmark 表現：SWE-Pro 56.22%、Terminal Bench 2 57.0%，在 agentic coding 和 terminal 任務上與 Claude Sonnet 4、GPT-5 (thinking) 等閉源模型同一個量級
根據 Unsloth 官方文件：未量化 bf16 需要 457GB VRAM — 四張 H100 的規格，不是一般人玩得起

重點是它是 open-weights，權重在 Hugging Face 可以直接下載，license 允許商用。這意味著只要你有硬體，就不需要付 API 費用，不需要擔心內容被送到第三方，不需要被 rate limit 卡住。

量化是關鍵

這就是 Unsloth 的 Dynamic 4-bit GGUF（UD-IQ4_XS）量化方案出場的地方。

UD-IQ4_XS 是 Unsloth Dynamic v2.0 的動態量化方案：不是所有層都壓成 4-bit，而是對敏感層（attention projection、embedding 等）保留 8 或 16-bit 精度，對不敏感的層壓得更低。整體結果是從 457GB 壓到 108GB，縮減約 60%，同時維持接近原模型的準確度——在 5-shot MMLU 等標準 benchmark 上的退化非常有限。

108GB 這個數字是個分水嶺。它意味著：

四張 RTX 4090（24GB × 4 = 96GB）裝不下，必須 offload 一部分到系統 RAM（tweet 作者用 DDR5 協助，有 offload penalty）
四張 RTX 5090（32GB × 4 = 128GB）有餘裕
一張 RTX PRO 6000（96GB）單卡剛好差一點，實務上也需要少量 offload
DGX Spark（128GB unified memory）一台機器搞定

從「只有資料中心跑得動」到「高階 workstation 塞得下」，中間就是量化這一層魔法。

⚠️ 一個容易踩雷的警告

Unsloth 官方文件特別標註：不要用 CUDA 13.2 跑這個模型，會產生 gibberish 或品質嚴重下降的輸出。NVIDIA 正在修，但現階段如果你有這張卡又跑這個量化模型，先把 CUDA 降到 13.1 或 12.x，否則 debug 會浪費你一整天。

四種配置的實測數字

MiniMax M2.7 推理速度（tok/s）

4x RTX 4090（二手約 $8000+ USD）

Throughput: 71.52 tok/s
TTFT: 1045ms

這是最「平民」的配置。四張 4090 現在二手市場大概 1500–2000 美金一張，湊齊四張加主機板、電源、機殼，總價落在 8000–10000 美金。速度 71 tok/s 已經比多數人打字快，TTFT 一秒左右也還能接受。

4x RTX 5090（新品約 $12000+ USD）

Throughput: 120.54 tok/s
TTFT: 725ms

5090 的 VRAM 從 24GB 升到 32GB，記憶體頻寬大幅提升，帶來的結果是推理速度直接翻倍。120 tok/s 已經進入「串流輸出快到看不完」的區間，TTFT 不到 0.75 秒的反應幾乎感受不到延遲。

1x RTX PRO 6000（單卡約 $9000 USD）

Throughput: 118.74 tok/s
TTFT: 765ms

這是整個表格最反直覺的一筆。一張 workstation 卡，速度接近四張 5090。原因是單卡配置沒有 inter-GPU 通訊的開銷，MoE 的 expert routing 不需要跨卡傳輸，NVLink 的 overhead 直接省掉。

對個人使用者來說，這也是最務實的選擇：機殼小、電源單純、散熱好搞、噪音低。九千美金買一張卡，性能打掉四張 5090，這個 CP 值很難不心動。

DGX Spark（$4,699，2026-02 漲價後）

原 tweet 截斷了 DGX Spark 的數字，所以這裡不是 stevibe 的實測，是社群和 NVIDIA 開發者論壇的獨立結果。

先把硬體規格講清楚：GB10 Grace Blackwell Superchip（20 核 ARM + Blackwell GPU）、128GB LPDDR5X unified memory、1 PFLOPS FP4、240W 功耗、售價 $4,699（2025-10-15 上市時是$ 3,999，2026-02 因 DRAM 供應緊縮調整）。

在 DGX Spark 上跑 MoE 模型有個結構性優勢值得點出：這台機器的記憶體是 LPDDR5X，bandwidth 約 273 GB/s——比 RTX 5090 的 1792 GB/s 慢太多。這解釋為什麼跑 dense 大模型會明顯被卡（實測 31B dense bf16 decode 只有 3.7 tok/s，AWQ int4 也只到 10.6 tok/s）。但 MoE 完全不同：雖然所有 expert 權重都躺在記憶體裡，每個 token 只需要串流 active 參數。以 Gemma 4 26B-A4B MoE 的官方 Day-1 benchmark 為例，decode 直接到 23.7 tok/s；Alex Razvant 用 GPT-OSS-120B 等 MoE 模型實測更可以跑到 80 tok/s 單批、170+ tok/s 多批。

對 MiniMax M2.7（230B 總 / 10B active MoE）這個特定模型來說，DGX Spark 的頻寬限制大致會被 MoE 結構抵銷掉——合理的預期範圍大概是幾十 tok/s 等級的 decode，不是四張 5090 的 120 tok/s，但也遠不是 dense 模型那種被卡死的情境。正確的買點不是「最快」，而是「128GB 塞得下、240W 安靜好養、規格一致於 DGX Cloud / GH200 方便開發 fidelity」。跟工作站 GPU 的取捨是光譜的另一端。

這些數字在實務上意味著什麼

120 tok/s 是什麼概念？作為對比：

ChatGPT Plus 網頁版高峰時段大約 40–60 tok/s
Claude.ai 網頁版大約 60–80 tok/s
多數 API 以 stream 模式回傳大約 50–120 tok/s

也就是說，一張 PRO 6000 在家裡跑 MiniMax M2.7 的體感，比付費的雲端服務還快。TTFT 725–765ms 意味著對話式互動完全沒有「等待」的感覺。

對於真正重度使用的場景 — 程式碼生成、長文件分析、agent 工作流 — 這個速度才是真的能用。不是玩具，是生產力工具。

經濟帳怎麼算

假設你每個月在 API 上花 200 美金（ChatGPT Plus + Claude Pro + Cursor + 幾個 agent 的 API 費用），一年就是 2400 美金。

一張 PRO 6000 的配置大約 10000 美金，加上電費（平均 300W × 每天 8 小時 × 每度電 0.15 USD × 365 天 ≈ 130 USD/年），回本期大概 4–5 年。

單看財務，這不是壓倒性的勝利。但如果把以下因素放進來：

完全沒有 rate limit，想跑多深的 agent loop 都行
資料不出家門，敏感專案可以放心用
沒有政策風險，模型不會被 vendor 哪天改掉或限流
本機推理的延遲遠低於任何雲端服務

對某些使用者來說，這些非財務因素本身就值回票價。

品質的 trade-off

必須誠實說：Dynamic 4-bit 不是免費午餐。

獨立評測者 Benjamin Marie 用 750-prompt 綜合 benchmark（LiveCodeBench v6、MMLU Pro、GPQA、Math500）比較 Unsloth MiniMax 量化版本與原始 bf16 模型。主要發現：

最佳 quality/size tradeoff 是 UD-Q4_K_XL：比原始模型精度低 6.0 分，相對錯誤率增加 22.8%
其他 Unsloth Q4 量化（包括 UD-IQ4_XS）準確度彼此接近（64.5–64.9），相對錯誤率增加 33–35%
Unsloth 的動態量化在相同或更小 size 下，都顯著優於其他來源的 GGUF（例如 lmstudio-community、AesSedai）

對日常 coding 和對話使用影響不大，但在需要精確數值計算、極長推理鏈、或稀有語種的任務上會有差別。

如果你的工作流對精度極度敏感，可以考慮 UD-Q4_K_XL（精度最接近原模型，但 VRAM 需求更高），或者回到雲端 API。另外 MiniMax 官方建議推論參數 temperature=1.0, top_p=0.95, top_k=40 — 用其他值會影響品質。

時代的轉折點

12 個月前，在家跑 230B 模型是天方夜譚。6 個月前，需要四張 A100 的規格還是勸退級別。現在，一張 workstation 卡就能做到，而且速度比付費雲服務還快。

這個曲線正在加速。再過 12 個月，可能一張 RTX 6090（如果出的話）就能跑 500B。再過 24 個月，前沿模型可能會變成「本來就該在本地跑」的基礎設施，就像資料庫之於應用程式一樣。

對獨立開發者、對 indie builder、對重視隱私與自主權的技術工作者來說，這是值得認真追蹤的技術曲線。stevibe 這組數字不只是 benchmark，它是一個訊號：大模型下放到個人硬體的那條路，已經走完了一半。