AI 爬蟲每爬一次就付錢：Cloudflare Pay Per Crawl 的 HTTP 402 革命

OpenAI 的爬蟲每帶回 1 個點擊，就先把你的網站爬了 1,700 次。Anthropic 更誇張——73,000 次爬取才換來一次引流。這是 Cloudflare 在 2025 年 6 月公開的實際數字，不是估算。

這就是問題的核心。以前搜尋引擎爬你的內容，是因為它要把流量送回來給你，這算是一種默契。但 AI 爬蟲不一樣，它爬你的東西是為了喂進模型、訓練完直接回答用戶的問題，你連流量都撈不到。

Cloudflare 的回應不是叫你封鎖，而是給你第三個選項：要進來可以，先付錢。用的工具是一個寫於 1996 年、三十年來幾乎沒人真正用過的 HTTP 狀態碼：402 Payment Required。

這件事為什麼值得注意

Pay Per Crawl 在 2025 年 7 月以私有 Beta 的形式上線，一起公開背書的有超過 12 家媒體集團：Condé Nast、AP 通訊、The Atlantic、Fortune、Time、Reddit、Pinterest，連環球音樂集團都站出來了。

Stack Overflow 在 2026 年 2 月分享了它們的實作經驗，把這套機制從「Cloudflare 的有趣實驗」拉到了「可以正式考慮部署」的層次。

這不只是一個產品更新，背後是一個大問題開始有技術解法：內容的所有權，和 AI 訓練的邊界，該怎麼用程式碼說清楚？

這篇拆三層來看：數字、各方的反應、還有你現在實際可以做什麼。

先看數字

AI 爬蟲爬取 vs 引流比例

這組數字說明的事情很簡單：搜尋引擎和 AI 爬蟲的商業邏輯根本不一樣。搜尋引擎爬你是為了送你流量，AI 爬蟲爬你是為了讓自己以後不再需要你。

各方怎麼看這件事

媒體產業：早就不耐煩了

Condé Nast 執行長 Roger Lynch 說得直白：「當 AI 公司不能再免費拿走任何東西，才有機會建立真正的合作模式。」

超過 12 家媒體在發布當天公開站台，這份名單本身就是訊號——內容產業對現狀忍很久了，這次是集體的情緒出口。

開發者：覺得技術設計做得不錯

Shopify 的工程師 Ilya Grigorik 在 X 上稱讚密碼學的設計，認為 Ed25519 簽名可以有效防止爬蟲冒充身份、繞過付費，也讓「誰有資格爬取」這件事有了可驗證的技術基礎。

Stack Overflow 的 SRE Josh Zhang 說部署起來比預期容易很多：「就是個 UI 把現有 WAF 規則包起來。」不需要換掉基礎設施，這讓它對很多團隊來說門檻低很多。

SEO 社群：有點擔心

Search Engine Land 指出一個還沒有答案的問題：如果「付錢就能進來」變成新規範，robots.txt 的語意會不會被稀釋？Google 和 Bing 的爬取協議未來怎麼演化，目前還說不清楚。這個擔憂是合理的。

最值得讀的兩句話

"When AI companies can no longer take anything they want for free, it opens the door to sustainable innovation built on permission and partnership."
— Roger Lynch, CEO of Condé Nast

"You should be in the driver's seat over what happens to the content."
— Will Allen, VP, Cloudflare

HTTP 402 實際怎麼運作

402 Payment Required 寫在 1996 年的 RFC 2068，設計者當時說「留給未來的微支付系統用」，然後三十年沒人動它。Cloudflare 把它撿起來，給了具體的語意。

流程一：先問再付

爬蟲發出 GET 請求
→ Cloudflare 回傳 HTTP 402 + crawler-price: USD 0.002
→ 爬蟲決定要不要，帶著 crawler-exact-price: USD 0.002 重新發請求
→ 回傳 HTTP 200 + crawler-charged，計費事件記錄

流程二：主動說你願意付多少

爬蟲發出 GET + crawler-max-price: USD 0.005（最高付這個）
→ 如果網站定價在範圍內，直接回傳 HTTP 200 + crawler-charged
→ 不用來回協商

身份怎麼驗證

爬蟲要先向 Cloudflare 登記、生成公私鑰對，每次請求帶著 Ed25519 簽名。這讓 Cloudflare 能加密確認「是誰在爬」，不讓人冒充合法爬蟲混進來免費取用。

結算怎麼跑

計費事件由 Cloudflare 彙總，它收爬蟲的錢，再分給發布者。出版商不用自己去跟 AI 公司對帳。

網站主的三個選項（對每個 AI 爬蟲分開設定）：

Allow：免費放行
Charge：設定每次爬取的收費（例如 $0.002/MB）
Block：完全拒絕

金句

搜尋引擎爬你是為了送你流量，AI 爬蟲爬你是為了不再需要你。 Pay Per Crawl 真正要解決的就是這個。

你現在可以做什麼

申請 Beta：去 cloudflare.com/paypercrawl-signup 填表，出版者和爬蟲運營商都有欄位，兩邊都有管道。
先用 AI Crawl Control 看數據：還沒啟用付費也沒關係，Cloudflare 的面板可以讓你看到哪些 AI 爬蟲在訪問你、頻率多高。知道自己被誰爬、爬多少，是做後續決策的第一步。
設計分層策略：不需要對所有爬蟲一視同仁。學術研究免費、商業 AI 公司收費、競爭對手直接封鎖——三種設定可以同時存在，照爬蟲身份分開處理。
搭配 robots.txt 一起用：robots.txt 擋掉不願付錢的，Pay Per Crawl 讓願意付錢的進來。兩者不衝突，配合用可以過濾出「有誠意談合作」的對象。
思考一個還沒答案的問題：Cloudflare 下一步要做 X402——不用登記也能程式化付款的協議。等這個成熟之後，內容定價的主導權到底會在開發者手上還是平台手上？這個問題值得現在就開始想。

蝦皮官方直營 · 最快當日到貨

蝦皮自營的生活超市入口，日用品、食品、家用雜貨為主，主打平價與到貨速度。需要順手補貨的時候從這裡進。

廣告 · 透過連結購買本站可獲得分潤，不影響你的售價逛蝦皮直營