2026 年 4 月：五個 LLM 同月發布，但架構戰場已經不在 transformer block

Sebastian Raschka（《Build a Large Language Model from Scratch》作者）在 4 月底的 X 貼文用一句話總結了這個月：「April was a pretty strong month for LLM releases」，五個模型一字排開，全部進了他維護的 LLM Architecture Gallery。

把 Gemma 4、GLM-5.1、Qwen3.6、Kimi K2.6、DeepSeek V4 逐一拆開來看，會發現每個都在押一個不同的架構賭注——這比看 benchmark 排名有意思得多。

這五個模型有四個共同點：全部 MoE、全部開源（MIT/Apache/Modified MIT）、全部 200K+ context、全部主打 agentic coding。剩下的全是分歧。

1. Gemma 4：把 Local 和 Global Attention 交錯起來

Gemma 4 Hybrid Local-Global Attention 交錯示意圖，展示 local sliding window 和 global attention 如何分層堆疊，最後一層強制 global — Local attention 省算力，每幾層插一次 Global 整合長程依賴，最後一層強制 Global 確保輸出前全局對齊

Google 在 4 月 2 日發布 Gemma 4，最值得記住的架構選擇是 hybrid local-global attention：大部分層只做 sliding window（512 tokens），每隔幾層才做一次能看全 256K context 的 global attention，而且最後一層強制是 global。

這樣做的好處是：local attention 的計算量遠低於 full attention，所以整體算力大幅下降；而定期插入的 global 層確保模型不會「忘記」遠處的資訊。最後一層強制 global 是一個聰明的設計——輸出前做一次全局整合，不讓長程依賴在最後一刻斷掉。

Gemma 4 還做了兩個細節：K=V tying（global attention 的 keys 直接等於 values，減少參數）和 p-RoPE（把 RoPE 的低頻部分 prune 掉）。這些是論文等級的精細化，但 Google 選擇把它們放進了實際生產模型。

26B-A4B 的 MoE 版本（128 experts，top-2 + 1 shared，3.8B active）是旗艦；E2B/E4B 是唯一這波支援 audio 輸入的邊緣模型。

2. GLM-5.1：把 KV Cache 壓掉 80%

GLM-5.1 MLA + DSA KV 記憶體壓縮原理圖，左側標準 MHA 完整 KV Cache，右側 MLA 壓縮至 latent vector，並疊加 DSA 稀疏注意力 — 標準 MHA 每個 token 要存完整 K、V；MLA 先壓成 latent，KV Cache 從 H×d×2 降到 kv_lora_rank（512）

Z.ai（前身智譜）在 4 月 7 日發布 GLM-5.1，架構是 MoE 754B / 40B active，訓練全程在 Huawei Ascend 910B + MindSpore 上完成，不碰 NVIDIA。

最關鍵的架構選擇是 MLA（Multi-head Latent Attention）+ DSA（Dynamic Sparse Attention）。MLA 是 DeepSeek 在 V2 提出的技術：token 進來先用 W_DKV 矩陣壓縮成一個小的 latent vector（kv_lora_rank = 512），KV Cache 只存這個 latent，而不是完整的 K 和 V。記憶體從 H × d × 2 per token 大幅降到 kv_lora_rank——省下約 80%。

Z.ai 在 MLA 上面再疊了 DSA（Dynamic Sparse Attention）：長 context 時只計算稀疏關鍵位置的 attention，進一步降低計算量。這讓 754B MoE 在受限的 Ascend 硬體上能跑 200K context，而不是只能在 NVIDIA H100 cluster 上才行。

這個設計的政治意義不輸技術意義：GLM-5.1 是 2026 年 4 月唯一完全不依賴 NVIDIA 就能訓出的 frontier 開源模型，SWE-Bench Pro 58.4（自報）超過 GPT-5.4。

3. Qwen3.6：把 SSM 和 Transformer 混起來

Qwen3.6 Gated DeltaNet 與 Transformer attention 交錯，共享 Sparse MoE FFN 的架構示意圖 — 奇數層走 Gated DeltaNet（SSM 路線），偶數層走 Standard Attention，兩路輸出都進同一個 Sparse MoE FFN

Alibaba 在 4 月 16 日發布 Qwen3.6-35B-A3B，架構上最特別的是走了 hybrid Gated DeltaNet 路線——這不是純 transformer，而是把 SSM（State Space Model）風格的 DeltaNet 和 standard attention 交錯堆疊。

DeltaNet 用 delta rule + forget gate，每一步「選擇性地記住或遺忘」前序資訊，邏輯上接近 LSTM 的 gating 機制，但在 matrix 操作上更適合現代 GPU。把它跟 standard attention 交錯，讓模型同時有「序列記憶」（DeltaNet）和「全局查詢」（attention）兩種能力。

兩條路的輸出都進同一個 Sparse MoE FFN（35B total / 3B active），所以推論成本等同 3B dense 模型。Apache 2.0，原生多模態（image + video）。

另一個賣點是 thinking mode preservation：DeltaNet 的 forget gate 幫助模型在 multi-turn agent workflow 中保持完整的推理脈絡，不會在第 10 輪 tool call 後「忘記」第 1 輪設定的目標。

4. Kimi K2.6：造一個 optimizer 才能訓起來

Kimi K2.6 MuonClip optimizer 對比標準 Adam 訓練崩潰示意圖，左側 Adam 在 1T MoE 訓練中 attention explosion，右側 MuonClip 穩定收斂 — 標準 Adam 在 1T MoE 中途 attention explosion 崩潰；MuonClip 的 clip 機制限制 Q/K update 幅度，讓訓練穩定收斂

Moonshot 在 4 月 20 日發布 Kimi K2.6：1T total / 32B active，384 experts（top-8 + 1 shared），MLA attention，256K context，Modified MIT 開源。

這個模型最有意思的地方不是架構——K2.6 的架構跟 K2 和 K2.5 完全相同，Hugging Face model card 直接寫：「Kimi-K2.6 has the same architecture as Kimi-K2.5」。差異全在 post-training：更多訓練算力、long-horizon 穩定性、agent swarm 協調。

真正讓這個架構能存在的是 MuonClip。標準 Adam 在 trillion-scale MoE 訓練到一半會碰到 attention explosion：gradient 失控 → attention score 爆掉 → loss spike → 訓練崩潰。Moonshot 自己改了 Muon optimizer，加入 clip 機制限制 Q/K 的 update 幅度，防止內積超過閾值。

換句話說，K2.6 之所以能跑 384 experts / 1T params，不是因為架構設計，而是因為有 MuonClip 把訓練穩住。這是這波最清楚的一個訊號：架構的上限，現在由 optimizer 決定。

K2.6 還加了 Agent Swarm（最多 300 sub-agents 並行、4000 步協調），以及 video 輸入支援（K2.5 只有 image）。

5. DeepSeek V4：三個新東西同時上線

DeepSeek V4 forward pass 架構圖，展示 CSA 和 HCA 交替的 attention 層、DeepSeekMoE FFN、mHC 取代 residual、以及 FP4 lightning indexer 的位置 — 一個 forward pass 同時有三個創新：CSA/HCA hybrid attention、mHC 取代 residual connection、FP4 QAT 訓練

DeepSeek 在 4 月 24 日發布 V4，分 V4-Pro（1.6T / 49B active）和 V4-Flash（284B / 13B active）兩個 checkpoint，1M context。

這個模型最反直覺的地方是：DeepSeek 自己發明了 MLA，但 V4 沒有延續純 MLA，而是用了全新的 CSA + HCA hybrid（Compressed Sparse Attention + Heavily Compressed Attention）。CSA 用 FP8 存大部分 KV、BF16 只給 RoPE 維度、FP4 lightning indexer 找稀疏位置；HCA 更激進，犧牲少量精度換極低記憶體。兩種交替，讓整體 KV cache 壓到只剩 ~2%。

第二個創新是 mHC（manifold-constrained hyper-connections） 取代標準的 residual connection（x + F(x)）。每層輸出沿 manifold 約束的路徑傳遞，改善 large-scale 訓練穩定性。

第三個是 FP4 QAT 訓練——在 frontier scale 用 4-bit quantization-aware training，這在 2026 年之前幾乎沒人在正式生產模型上跑過。

Hugging Face 的 V4 部落格自己說得很直白：「benchmark 競爭但不 SOTA；真正的賣點是 1M context 設計給 agent 用」。三個架構創新加在一起，社群要驗證 stability 還需要時間。

降溫

這五個模型放在一起，很容易寫成「開源 LLM 大躍進」。三件事值得降溫：

Benchmark 都是自報的。GLM-5.1 的 SWE-Bench Pro 58.4、Kimi K2.6 的 HLE 54.0，目前都沒有獨立第三方驗證。K2.6 的 Hugging Face model card 明確標注：部分 benchmark 因公開分數不全，由 Moonshot 自己重跑。
長 context 和長 agent 是兩件事。1M context window 不等於模型真的能有效利用 1M tokens。DeepSeek V4 的 1M 設計是真實的架構選擇，但實際 retrieval 精度在長 context 末端的表現，要等社群測完才知道。
架構創新多 ≠ 生產友善。DeepSeek V4 的 mHC + CSA/HCA 是一套全新的東西，fine-tune toolchain、推論框架支援、quantization 相容性都還在跟上。Qwen3.6 的 hybrid DeltaNet 也是相對新的路線。

這五個模型 6 個月後再回頭看，可能有 2-3 個成為主流引用，其他變成「那個月試過的選項」。Raschka 的 Gallery 之所以有用，正是因為他不挑哪個會贏——只是把每個的架構選擇攤開讓人比較。

對 builder 的實際判斷

如果你在 build product 而不是在 lab 裡訓模型：

本地跑：Gemma 4 E2B/E4B 是最務實的邊緣選擇（支援 audio）；Qwen3.6-35B-A3B 是消費級 GPU 的上限。
Self-host 旗艦：Kimi K2.6 在 4×H100 INT4 跑得動，Modified MIT 允許商用。GLM-5.1 需要 ~1.5TB memory，門檻高。
API 試水：DeepSeek V4 的 1M context 對「整個 codebase 丟進去」這種情境有真實意義，但建議等社群驗證 stability 再投產。

這個月最值得記的結論是：LLM 已經沒有標準架構了。attention、routing、optimizer、precision、訓練硬體，每條軸線都有人在押不同方向。下一輪由哪條軸線決定勝負，現在還沒有答案。