OpenMythos 發布：有人用 PyTorch 從零重建 Claude Mythos 的架構

swarms 創辦人 Kye Gomez（@KyeGomezB）在 4 月 19 日丟出一顆有點炸裂的消息：他要做 OpenMythos，一個開源、first-principles 的 Claude Mythos 架構重建，實作語言是 PyTorch。核心架構宣稱是 looped transformer 搭配 Mixture-of-Experts（MoE）路由，透過權重共享（weight sharing）實現所謂的「iterative depth」。

Claude Mythos 是 Anthropic 目前未公開發布的前沿模型，2026 年 4 月 7 日透過 Project Glasswing 首次正式露面。紙面數字非常嚇人：SWE-bench Verified 93.9%（對比 Opus 4.6 的 80.8%）、CyberGym 83.1%、GPQA Diamond 94.6%、SWE-bench Pro 77.8%、Terminal-Bench 2.0 82.0%。這個模型外界拿不到，也看不到權重。

有個容易被忽略的背景值得先講：Mythos 其實更早在 2026 年 3 月就因為 Anthropic 把一篇草稿部落格文留在沒設權限的公開資料快取裡意外流出——文字裡形容這個模型「cyber 能力遠超任何其他 AI 模型」並可能「觸發新一波攻擊」。消息一出，cybersecurity 相關股票當天應聲下跌。Simon Willison 的獨立測試還出過一個經典對比：在 Firefox 漏洞利用任務上，Opus 4.6 幾百次嘗試只成功 2 次，Mythos 做了 181 次。這是外界對這個模型最有感的具體數字。

現在有人說「我要重建它」，第一個反應當然是：可能嗎？

這篇文章想拆解三件事：他到底在做什麼、技術上合不合理、以及即使重建不出 Mythos，這件事到底有沒有價值。

「理論重建」到底是什麼意思

Kye Gomez 用的詞是 theoretical reconstruction，不是 replica、也不是 clone。這個區分很重要。

他沒有 Mythos 的權重、沒有訓練資料、沒有 Anthropic 內部的架構文件。他有的只是：公開的 benchmark 分數、Project Glasswing 相關的技術訪談與論文、社群對 Anthropic 架構方向的合理推論，以及自己對前沿 transformer 演進路線的判斷。

基於這些外部觀測，他選擇了一套他認為「最可能近似 Mythos」的架構——looped transformer + MoE。這是一種架構層級的假說復刻，不是權重層級的蒸餾或逆向工程。說白了：他重建的是「他猜想的 Mythos」，不是 Mythos 本身。

這一點在看待 OpenMythos 的時候必須放在最前面，否則後續所有討論都會失焦。

Looped Transformer 加 MoE：這個組合在做什麼

Looped transformer 的概念其實不新，近一兩年在學界出現過幾篇相關論文，核心想法是：

傳統 transformer 的「深度」是靠堆疊 N 層不同權重的 layer 來實現的，參數量會隨深度線性膨脹。looped transformer 則走另一條路——同一組 layer 權重被重複執行多次，每一次 loop 都基於前一次的 hidden state 繼續運算。結果是：參數量不變，但有效計算深度增加了。這就是 Kye Gomez 所說的「iterative depth via weight sharing」。

Kye Gomez 在他的 thread 裡把 Mythos 直接定位為 Recurrent-Depth Transformer（RDT）——looped transformer 的一個明確子類，核心特徵是推理完全發生在連續潛在空間裡，迴圈步之間不發出任何中間 token。這和 chain-of-thought 有本質差別，相關理論分析可參考 Saunshi et al., 2025 與 COCONUT, 2024 兩篇論文。OpenMythos 的 repo README 更進一步提到，真正讓這類模型能在大規模下穩定訓練的關鍵，是 Parcae 架構（Prairie et al., 2026）——透過 input injection 機制讓 hidden state 在每一圈都能重新接收原始輸入訊號，解決了 looped model 訓練不穩、難調超參數的老問題。另外 repo 還實作了 Adaptive Computation Time（ACT）halting 機制：每個位置用一個學習到的 scalar 動態決定什麼時候停止 loop——難處理的 token 給更多運算，簡單的 token 早點出場。

把這個結構想像成遞迴函式：同一段程式碼，針對逐步精煉的中間結果跑很多次，而不是寫一百個不同的函式串起來。

MoE 在這裡扮演的角色是路由器（router）。純粹的 looped transformer 有個問題——同一組權重跑多次，每一次其實在做類似的計算，表達能力可能被限制住。引入 MoE 之後，每一次 loop 都可以由 router 選擇不同的 expert 子網路來處理當前的 token，相當於「同樣的殼，但每一圈裡面裝了不一樣的腦」。

這個組合在理論上確實很迷人：少參數、深運算、專家切換。如果 Mythos 真的採用類似結構，某種程度能解釋為什麼它在 SWE-bench 這類需要長鏈推理的任務上表現這麼強——因為推理本身就像是多次 loop 下逐步收斂。

懷疑的眼光：外部推論能走多遠

問題來了：從 benchmark 分數和零碎訪談，你能還原多少架構細節？

老實說，非常有限。以下這些都是 Anthropic 不會告訴你的：

loop 的次數是固定、動態，還是依輸入難度自適應
expert 的數量、每次激活幾個（top-k 的 k 值）、router 的演算法
預訓練的資料混合比例、curriculum、RLHF 的具體訊號設計
attention 的長上下文處理機制（YaRN、RoPE 擴展、還是其他）
權重共享是完整共享，還是只共享某些子模組

這些每一項的差異都可能決定模型最終能力落在 70 分還是 90 分的區間。Kye Gomez 在 PyTorch 裡寫出一個「looped transformer + MoE」是做得出來的——但要它跑出 SWE-bench 93.9%？幾乎不可能。架構只是冰山一角，資料和訓練才是水下的 90%。

所以對 OpenMythos 的合理期待應該是：架構可跑、論文可發、benchmark 追平某個同級開源模型（例如 Llama-3 class 或 DeepSeek-V2 class），而不是對齊 Mythos 本身。

就算追不上 Mythos，這件事依然有價值

但這並不代表 OpenMythos 沒有意義。反而我認為它的研究價值可能被低估。

第一個價值是把 looped transformer + MoE 的實作推到開源社群。目前這兩個技術的開源實作還不多，品質也參差。有一個明確定位、有論述、有社群熱度的 reference implementation，可以讓後續的研究者直接 fork 出去做消融實驗（ablation study）——loop 次數的影響、expert 數量的影響、router 設計的比較。

第二個價值是降低架構實驗的門檻。不是每個研究團隊都有能力從零搭出一套結合 looped execution + MoE routing 的訓練管線。OpenMythos 如果寫得乾淨，會變成像早期 minGPT 那樣的教材型專案——讀完程式碼就能理解架構，然後再上去改。

第三個價值是推動架構討論的透明化。Anthropic、OpenAI、Google 現在幾乎不公開前沿模型的架構細節。當外界開始用「理論重建」這種方式逼近，這些實驗室遲早要面對社群的架構推論是對是錯的問題——這對整個領域其實是健康的。

這是一個正在發生的模式

把 OpenMythos 放進時間軸看，它其實是同一種模式的第三代：

LLaMA 追的是 GPT-3 級別的密集 transformer
DeepSeek、Qwen、Mixtral 追的是 GPT-4 class 的 MoE 架構
OpenMythos 現在想追的是 Mythos class 的 looped + MoE

每一波都遵循相同的節奏：閉源前沿 → 架構推論洩露或合理猜測 → 開源社群嘗試重建 → 在工程與資料上慢慢逼近。這不是壞事，這是 AI 領域真正的民主化管道。

誠實的結論

對 OpenMythos 我的看法是分成兩層的。

研究價值：我給高分。把 looped transformer 和 MoE 組合推出來、用 PyTorch 做一份高品質 reference、開源出來讓人改，光這件事就值得。後續如果有論文、有消融實驗、有社群衍生版本，這個 repo 的長期影響力會比「重建 Mythos」這個標題本身還大。

Benchmark 對齊期待：我給低分。Mythos 的分數不是靠架構設計單點突破出來的，那是 Anthropic 在資料、訓練、RLHF、safety alignment 上長年累積的綜合結果。沒有那些東西，光有架構，做不出 Mythos。

換句話說：把 OpenMythos 當成一個好的架構教材和一個可以站上去做研究的平台，就對了。別把它當成你可以本地跑的 Mythos——那個東西，目前世界上還沒有。

Kye Gomez 這次的動作有他一貫的大膽和 marketing 感，但這次 marketing 底下的技術方向是真的值得跟。接下來幾週要盯的幾個點：正式 repo 會不會開出來、loop 機制的具體設計（是固定 depth 還是動態）、MoE 的 router 用哪種演算法、以及第一版的訓練規模與資料源。

這些才是判斷 OpenMythos 是玩真的還是公關操作的真正線索。