Google 開源 DiffusionGemma：1000 tok/s 的速度，AIME 掉 19 分的代價
Google DeepMind 開源實驗模型 DiffusionGemma：26B MoE、Apache 2.0，用文字擴散一次生成 256 個 token，單張 H100 跑出 1000+ tok/s。但官方 benchmark 自己承認品質全面低於 Gemma 4——這篇拆解它怎麼辦到、代價多大、誰該用。
目錄+
2026 年 6 月 10 日，Google DeepMind 丟出一個實驗性開源模型 DiffusionGemma：26B MoE、Apache 2.0 授權，在單張 NVIDIA H100 上能跑出超過 1000 tok/s——比一般自回歸模型快 4 倍。但 Google 自己在 model card 裡寫得很白：品質全面輸給標準 Gemma 4，AIME 2026 從 88.3% 掉到 69.1%。這篇拆三件事：它怎麼快起來的、品質掉在哪、以及什麼情境值得用它。
慢的從來不是算力，是記憶體
你現在用的每個 LLM——GPT、Claude、Gemini——都是自回歸模型：一次吐一個 token，下一個 token 要等上一個算完。問題是，GPU 每生成一個 token，都得把整個模型權重從記憶體搬進運算單元跑一遍。算力大部分時間其實在發呆，等記憶體搬資料。這就是為什麼本地推論的速度上限，看的是記憶體頻寬，不是 TFLOPS。
DiffusionGemma 換了一條路。它不一個一個生，而是一次攤開一張 256 token 的「畫布」（canvas），整塊一起從雜訊迭代去噪成文字——跟 Stable Diffusion 生圖是同一個思路。一張畫布完成後，編碼進 KV cache，再生下一張。Google 把這叫 block-autoregressive：塊內平行、塊間順序，長文還是穩的。
這個設計把瓶頸從記憶體頻寬搬到算力。搬一次權重，算 256 個 token，本來閒著的 tensor core 全部用起來。官方數字：單張 H100 超過 1000 tok/s，消費級的 RTX 5090 也有 700+ tok/s。
說白了：自回歸模型在等記憶體，diffusion 模型在燒算力。
規格：26B 的身體，3.8B 的胃口
DiffusionGemma 直接拿 Gemma 4 26B A4B 的 MoE 架構改的：總參數 25.2B，推論時只啟動 3.8B，context 最長 256K，支援文字加圖片輸入。量化後 18GB VRAM 內裝得下——意思是一張 24GB 的卡就能在本地跑，像 麗臺 RTX PRO 4000 這種 24GB 工作站卡規格上剛好符合；想留點餘裕同時掛其他模型的話，32GB 的 麗臺 RTX PRO 4500 也在射程內。
工具鏈第一天就到齊：MLX、vLLM（Red Hat 協助整合）、Hugging Face Transformers、Unsloth、NVIDIA NeMo 都支援，llama.cpp 官方支援在路上。想微調的話，Google 還放了一套叫 Hackable Diffusion 的模組化 JAX 工具箱。
代價：官方自己印出來的成績單
速度不是免費的。下面是 Google 在 model card 裡自己公布的對照數字（同樣 26B A4B 架構，diffusion 版 vs 自回歸版）：
| Benchmark | DiffusionGemma 26B A4B | Gemma 4 26B A4B |
|---|---|---|
| MMLU Pro | 77.6% | 82.6% |
| AIME 2026（無工具） | 69.1% | 88.3% |
| LiveCodeBench v6 | 69.1% | 77.1% |
| Codeforces ELO | 1429 | 1718 |
| GPQA Diamond | 73.2% | 82.3% |
| BigBench Extra Hard | 47.6% | 64.8% |
（資料來源：Google 官方 DiffusionGemma model card）
數學掉最兇：AIME 2026 直接少 19 分。需要長鏈推理的 BigBench Extra Hard 掉 17 分。Google 在公告裡也直接建議：要品質，請繼續用標準 Gemma 4。
DiffusionGemma 不是更聰明的 Gemma，是把品質拿去換速度的 Gemma。Google 沒打算藏這件事，這也是整個發布最誠實的地方。
它不是第一個，但它是最開放的一個
Diffusion 文字模型不是新東西。Inception Labs 的 Mercury 在 2025 年 2 月就做出 H100 上 1000+ tok/s 的商用 diffusion LLM；Google 自家的 Gemini Diffusion 在 2025 年 5 月的 I/O 展示過 1,479 tok/s，但只開 waitlist demo，權重不放。學界也早有 LLaDA 這類開源研究模型。
DiffusionGemma 的差別在於開放程度：Mercury 是閉源 API，Gemini Diffusion 摸不到權重，而 DiffusionGemma 是 Google 第一次把自家 diffusion 文字模型用 Apache 2.0 放出來，還附上完整工具鏈。想研究 diffusion LLM 內部怎麼運作、想自己微調玩花樣的人，現在才真的有材料。
誰該用：不是聊天，是「非線性」的場景
256 個 token 一起生，意味著畫布內每個 token 都看得到其他所有 token——雙向注意力，邊生成邊自我修正。這在幾種場景特別有優勢：
- 程式碼填空（code infill）：在程式中間挖洞補碼，前後文都要看
- 行內編輯：改一段文字的中間，不用從頭重新生成
- 非線性結構：數學圖、蛋白質序列這種「後面決定前面」的東西
官方公告裡有個很妙的例子：Unsloth 拿它微調去解數獨。數獨是自回歸模型最痛苦的任務之一，因為每一格都依賴還沒生出來的格子；雙向注意力直接繞過這個結構性弱點。
結語
DiffusionGemma 像是 Google 公開下注的一場架構實驗：未來的本地推論，可能不是把自回歸模型越壓越小，而是換一種把 GPU 用滿的生成方式。品質差距今天還很明顯，但圖像生成當年也是從「比 GAN 糊」一路迭代到全面接管。
剩下的問題只有一個：文字 diffusion 的品質曲線，會不會走出同一條路。
參考來源