跳到主要內容

Karpathy 把 token 用來建知識庫了:這個轉變值得認真看

Andrej Karpathy 在 2026 年 4 月 2 日發了一條推文,說他最近發現一件很有用的事:用 LLM 來為自己感興趣的研究主題建立「個人知識庫」。他特別提到,最近大量的 token 使用量已經從操作程式碼,轉移到了操作知識。

這條推文我看了幾次。它說的不是某個新工具、新模型、新框架。它說的是一個人的工作流轉變——而說這話的人,是少數真正把 LLM 用到極限的人之一。


這是一個訊號,不是一個技巧

Karpathy 不缺寫 code 的工具,也不需要 LLM 幫他除錯。他說「我的 token 使用量已經主要在操作知識,不在操作程式碼」,代表他找到了 LLM 更高報酬率的用法。

如果連他都在做這件事,我們值得停下來想一想:是不是多數人都把 LLM 用在了次等重要的地方?


什麼是「LLM 知識庫」

不是把文章丟給 ChatGPT 問問題。那是用完即棄的互動——問了、答了、關掉,什麼都沒有留下來。

Karpathy 說的是另一件事:用 LLM 把你讀的論文、文章、筆記,轉化成結構化的、持久的、可累積的知識系統。具體來說可能長這樣:

  • 把五篇論文餵給 LLM,請它萃取核心概念、整理成 Markdown
  • 請 LLM 找出這些論文之間的爭議點和共識
  • 建立一份「這個主題目前我理解到哪裡」的個人 ground truth 文件
  • 下次讀到新論文,把它與既有知識庫對照,只更新有差異的部分
Loading diagram...

關鍵差異是累積性。寫完的 code 是可執行的 artifact,但一次性問答沒有留下任何知識資產。知識庫會隨著輸入增加而變得更完整、更有價值。


Token 使用分配的轉變

如果你現在審視自己一週的 LLM 使用記錄,大概長什麼樣子?

Karpathy 式工作流下的 token 分配比例(推估值)

Karpathy 沒有放棄 coding,但他在知識整理上投入的 token 比例大幅上升。背後的判斷很清楚:code 可以快速生成,但對一個領域的深度理解不能。


它和 ChatGPT 問答有什麼不同

這個問題值得直接回答。

一次性問答是無狀態的:每次對話從零開始,問了一百個問題,什麼文件資產都沒有留下來。

LLM 知識庫是有狀態的:每次新材料整合進去,知識庫就更完整一點。這和 Garry Tan 的 GBrain「Compiled Truth」機制的邏輯一樣——把當下最佳理解編譯成可更新的快照,而不是每次從頭臨時合成。

問答是取用,知識庫是積累


實際怎麼做

不需要特殊工具,長 context 的 LLM 加 Markdown 編輯器就夠了:

選定範圍小的主題——小到能在兩週內讀完核心材料。把論文貼進去,請 LLM 萃取核心主張、關鍵假設、與其他工作的關係,直接輸出 Markdown。

建一份主文件——把各篇萃取結果合併,請 LLM 整理出共識、矛盾、未解問題。這份文件是你對這個主題的 ground truth。

迭代更新——每次讀到新東西,只更新有差異的部分。文件越來越精準,不是越來越臃腫。


為什麼現在才有人這樣做

因為 context window 不夠長的時候,這件事做不好。你沒辦法同時把五篇論文和既有知識庫都塞進去讓 LLM 做整合。現在可以了。

這是一個被模型能力限制壓著的用法,限制消失之後它自然浮出來——Karpathy 的推文只是個公開確認。

如果你現在還在用 LLM 主要做 code 補全,這不是在說那件事沒有價值。而是說:可能有另一件事,值得你分出更多 token 預算去試試。