Karpathy 的 cognitive core 論點：兆參數模型不是更聰明，是在幫資料垃圾擦屁股

反直覺的開場：模型大，不是因為技術難

大多數人看到 frontier LLM 動不動幾千億、上兆參數，直覺會是「認知任務太難，所以模型必須很大」。Karpathy 最近的論點剛好把這個因果顛倒過來：模型之所以要這麼大，不是因為智慧本身複雜，而是因為訓練資料太爛。我們之所以需要巨型壓縮引擎，是為了從一堆雜訊裡把一點點真正的 intelligence 擠出來。

這個反轉視角，才是他這則發言最值得被引用的地方——它重新定義了「模型規模」代表的意義。

訓練資料的真相：不是 WSJ + Wikipedia

外界對「網路語料」的想像通常是 Wall Street Journal、Wikipedia、嚴肅寫作、技術文件。實際情況完全不是這樣。當前沿實驗室的研究員隨機抽樣 pretraining corpus，看到的絕大多數內容是 stock tickers、broken HTML、廣告 spam、語意破碎的 gibberish。

Karpathy 在 Dwarkesh Patel 的 podcast 上親口提過一個數字：Llama 3 的資訊壓縮密度大約是 0.07 bits/token（來源：Karpathy on Dwarkesh Patel podcast）。換句話說，模型對絕大部分訓練內容，只有一種 hazy recollection——模糊的印象，而不是理解。大部分 token 進到模型裡，只是被「記憶」成某種統計分布，而不是被「學會」。

兆參數不是大腦，是壓縮引擎

從這個角度重看 model size：trillion-parameter 模型的大部分參數，其實是在做 memory work，而不是 cognitive work。它們在記憶雜訊，不是在思考。

現階段旗艦模型的規模大約落在 200B 到 1.8T 之間（業界估計，主要來自 SemiAnalysis 的 leak，OpenAI 從未官方確認）。這個數字聽起來驚人，但如果你接受 Karpathy 的詮釋——這些參數當中有很大比例在做資料記憶，而不是推理——規模的意義就不再等同於智慧。

Karpathy 的提案是把 cognitive core 跟 memory 徹底分開：cognitive core 專注在推理與演算法，使用高品質資料訓練；記憶與事實則外掛到 RAG、向量庫或其他外部 store。他估計 cognitive core 在 1B 參數左右就可能達到真正的 intelligence（Karpathy 的估計，非 benchmark 結果）。這是把 LLM 從「一體成型的大腦」重新想像成「小推理核心 + 大外部記憶」的架構。

趨勢已經走在這條路上

值得注意的是，這不只是一個理論提案，產業實際的走向已經在支持這個方向。

GPT-4o（約 200B，業界估計）效能超越原始 GPT-4（約 1.8T，業界估計），代表同世代架構改進 + 資料清洗，比單純堆參數更有效
Phi-4 14B 在多個 benchmark 上追平 DeepSeek R1 671B（來源：Sidecar.ai 報導），顯示 small model + clean data 可以追上大幾十倍的對手
Epoch AI 的分析指出，前沿實驗室正把訓練 compute 從「更大模型」轉向「更小模型 + 更多 tokens + 合成資料」
GPT-3.5 級別的推論成本在 2022-2024 之間下降約 280 倍（根據該則貼文的引用），主要推力是更小、更乾淨、架構更好的模型

方向一致：不是在比誰的模型大，是在比誰能用更少參數做到同樣的事。

批判視角：這個論點有哪些破綻

要對這個論點誠實，幾件事必須同時講。

「1B 參數 cognitive core 可以達到真正智慧」目前完全沒有 benchmark 支撐，這是 Karpathy 的直覺預測，不是實驗結果。把它當成 roadmap 可以，把它當成事實不行。
「把記憶外掛」說起來輕巧，但今天最強的 RAG 系統在 factual QA 仍然需要把大量上下文拼接進 prompt，外部記憶跟模型參數記憶在 retrieval latency、coherence、multi-hop reasoning 上的效能差距還很真實。
合成資料本身有 model collapse 的風險，Karpathy 在同一集 Dwarkesh podcast 也提過——小模型 + 合成資料這條路不是沒有陷阱，錯誤會在幾代訓練之後累積。
1.8T vs 200B 的對比 heavily 依賴 SemiAnalysis 的 leak，OpenAI 從未官方確認，讀者不該把這兩個數字當作事實基準，它們更像是業界共識中的佔位符。

這個論點對 indie builder 的意義

如果 Karpathy 的方向是對的，未來 3-5 年的工程重心會從「訓練更大的模型」移到「建立 cognitive core + 高品質外部記憶」的架構。對 indie builder 的含意很具體：押寶在 smaller、cleaner、better-架構模型的工具鏈——SLM + RAG + agent orchestration——可能比賭巨型模型 inference 再便宜幾個量級，還更符合趨勢。真正的槓桿不在模型規模，在資料品質與系統設計。