DiffusionGemma：一次生成 256 個 token，H100 跑到每秒 1000 次，但 MacBook 用戶沒份
Google 今天開源 DiffusionGemma——一個不靠自回歸、一次生成 256 個 token 的文字擴散模型。H100 上每秒破千 token、比 Gemma 4 快 4 倍。但品質明顯落後 Gemma 4，而且 MacBook 用戶加速效果是零。
目錄+
Google 今天開源 DiffusionGemma（Apache 2.0）：單張 H100 每秒生成超過 1000 個 token，比 Gemma 4 快 4 倍。但 AIME 2026 從 88.3% 掉到 69.1%，品質差距超過 19 個百分點。
| DiffusionGemma | Gemma 4 26B | |
|---|---|---|
| 速度 | ⚡ 快 4x（H100 1000+ tok/s） | 一般（~250 tok/s） |
| 品質 | 全面落後 5–20pp | 標準 |
| 適用硬體 | NVIDIA GPU only | 所有平台 |
這不是 Gemma 4 的替代品——是用品質換速度的架構實驗。
文字擴散是什麼
一般的語言模型（GPT、Gemma、Llama）都是自回歸的：每次只生成一個 token，生成完才能生成下一個。這個設計讓 GPU 大部分時間在等記憶體，不是在算。
DiffusionGemma 走另一條路——借鑑圖像擴散模型（像 Stable Diffusion）的邏輯：
- 先把 256 個 token 的「畫布」全部填上雜訊
- 對整個畫布做雙向注意力（每個 token 可以看到所有其他 token）
- 把模型確定的 token 留下，不確定的重新加雜訊
- 重複步驟 2–3，直到整個畫布穩定
- 畫布完成後加入 KV Cache，繼續生成下一個 256-token 畫布
graph TD
A[256-token 畫布：填入雜訊] --> B[雙向注意力：所有 token 互相參照]
B --> C{去噪判斷}
C -->|模型確定的| D[保留該 token]
C -->|不確定的| E[重新加雜訊]
D --> F{整張畫布穩定？}
E --> B
F -->|否| B
F -->|是| G[畫布完成 → 加入 KV Cache]
G --> H[生成下一個 256-token 畫布]
H --> A
關鍵差別：256 個 token 同時計算，GPU 一直在算，不在等。這才是速度的來源——瓶頸從記憶體頻寬移到了純算力。
架構細節
DiffusionGemma 建在 Gemma 4 26B A4B 的 MoE 架構上（來源：HuggingFace 模型卡、NVIDIA blog）：
| 規格 | 數值 |
|---|---|
| 總參數 | 25.2B |
| 推論時啟動參數 | 3.8B |
| Canvas 長度 | 256 tokens |
| Context 長度 | 最長 256K tokens |
| 專家數 | 8 active / 128 total |
| Vision encoder | ~550M 參數 |
| 量化後 VRAM | 18GB（BF16/NVFP4） |
MoE 的意思是：雖然模型有 25.2B 參數，每次推論只有 3.8B 在運作。和 Gemma 4 26B A4B 的設計相同，DiffusionGemma 只是把自回歸解碼換掉了。
輸入支援：文字、圖像。輸出只有文字。
速度實測（來源：Google Blog、NVIDIA blog）
| 硬體 | 速度 |
|---|---|
| NVIDIA H100 | 1,000+ tokens/sec |
| NVIDIA RTX 5090 | 700+ tokens/sec |
| NVIDIA DGX Spark | 150 tokens/sec |
4x 加速只在算力密集（compute-bound）的硬體上有效。需要 NVIDIA 這類的 dedicated GPU。
Apple Silicon 沒有加速。 Google Blog 直接說明：蘋果晶片是 memory-bandwidth-bound 架構，瓶頸和自回歸模型一樣，DiffusionGemma 的設計對它沒有幫助。換句話說，M4 Max 跑 DiffusionGemma 不會比跑 Gemma 4 快。
如果你想在本地跑 DiffusionGemma，需要量化後 18GB 以上 VRAM 的 NVIDIA GPU——麗臺 RTX PRO 4500 Blackwell 32GB 這個級別才合適。
品質的代價
速度有了，品質怎樣？Hugging Face 模型卡列出和 Gemma 4 26B 的對比（均為 instruction-tuned 版本）：
| Benchmark | DiffusionGemma | Gemma 4 26B |
|---|---|---|
| MMLU Pro | 77.6% | 82.6% |
| GPQA Diamond | 73.2% | 82.3% |
| AIME 2026 | 69.1% | 88.3% |
| LiveCodeBench v6 | 69.1% | 77.1% |
| MMMLU（多語言） | 81.5% | 86.3% |
| BigBench Extra Hard | 47.6% | 64.8% |
| MMMU Pro（視覺） | 54.3% | 73.8% |
七項 benchmark 全數落後，差距 5–20 百分點。最痛的兩刀：數學推理（AIME -19.2pp） 與 視覺理解（MMMU Pro -19.5pp）。Google 自己說得很直白：「DiffusionGemma 以速度換品質，生產環境推薦繼續用 Gemma 4。」
唯一例外：HLE（Humanity's Last Exam）no tools，DiffusionGemma 11.0% vs Gemma 4 8.7%反而贏。但兩邊絕對分數都低，統計意義有限。
適合什麼任務
雙向注意力讓 DiffusionGemma 在某些任務上有結構性優勢：
✅ 代碼補全（code infilling） — 填充空白時可同時看前後文，比從左到右生成更自然 ✅ 行內編輯（inline editing） — 修改片段不需重新生成整段 ✅ 非線性結構輸出 — Markdown 格式化、氨基酸序列、數學圖形，並行自我修正效果更好
❌ 不適合：高品質長文生成、複雜推理、視覺理解——這些繼續用 Gemma 4
現在怎麼拿
Apache 2.0，可以商業使用：
- Hugging Face：
google/diffusiongemma-26B-A4B-it - Kaggle Model Hub
- Vertex Model Garden
- NVIDIA NIM（API 形式，OpenAI 相容格式）
快 4 倍換來的是什麼
說實話，DiffusionGemma 現在更像是一個研究成果的公開展示，而不是馬上要用的工具。
架構上這是一步真正的突破——把擴散模型的邏輯搬到文字生成，256 個 token 同時算，讓 H100 跑到每秒 1000 次。這在開源模型裡從來沒有過。
但 Apple Silicon 用戶完全沒有好處，而能跑得快的硬體（H100、RTX 5090）本來就不是大多數人手邊的東西。
如果你有 NVIDIA GPU → 現在就上 Hugging Face 試 google/diffusiongemma-26B-A4B-it，專注速度優先的任務（code infilling、平行結構輸出）。 如果你用 Mac 或呼叫 API → 等後續版本品質追上再說，Gemma 4 還是更穩的選擇。