你的 AI Agent 在抓網頁時其實在做蠢事——webclaw 把問題根治

你叫 AI agent 去讀一個競爭對手的定價頁面，它回來告訴你：「403 Forbidden」。你叫它讀一篇技術文章，它把整份 HTML 塞進 context window，三千個 token 裡有兩千個是導覽列和廣告。這不是邊緣案例——這是 2026 年 AI agent 在網頁讀取上的日常。

webclaw 是一個用 Rust 寫的本地優先網頁內容提取工具，專門為 LLM 和 AI agent 整合設計。它同時提供 CLI、REST API 和 MCP Server 三種接入方式，核心賣點只有兩個：繞過機器人偵測、砍掉無用 token。

兩個死穴：403 和 token 爆炸

AI agent 抓網頁面對兩個根本性的問題，不是 prompt 寫得好不好能解決的。

問題一：Bot 偵測。現代網站用 TLS 指紋識別來區分真人瀏覽器和程式請求。Python 的 requests、Node 的 fetch，它們的 TLS 握手特徵和 Chrome 差很遠，一眼被認出來就是 403。傳統解法是跑無頭瀏覽器（Puppeteer、Playwright），但資源消耗大、啟動慢、部署麻煩。

問題二：token 浪費。直接抓 HTML，100KB 的頁面可能有 142KB 以上的原始標記，裡面充滿了 <nav>、<footer>、Cookie 橫幅、廣告 div。這些對 LLM 沒有意義，但每個 token 都要算錢、都要佔 context window。

Loading diagram...

webclaw 是什麼

webclaw 是用 Rust 寫的模組化提取引擎，分成五個 crate，每個職責清晰：

webclaw 五大模組架構圖 — webclaw 的五個核心 crate：CLI、MCP、REST API 三種接入，共用同一套 fetch + core + llm 底層

最關鍵的是 webclaw-fetch：它使用 wreq 搭配 BoringSSL，把 TLS 握手特徵模仿成 Chrome，不需要啟動真實的瀏覽器。webclaw-core 則負責把拿到的 HTML 解析成乾淨的 markdown、純文字、JSON 或 LLM 優化 HTML，自動去掉導覽列、頁尾、廣告、Modal 和 Cookie 橫幅。

效能數字對比

根據官方文件的基準測試，webclaw 跟主要競品的差距可以量化：

提取準確率對比 (%)

速度方面，webclaw 在 100KB 頁面上的提取耗時為 3.2ms，firecrawl 需要 8.7ms，jina 需要 18.4ms。爬取速度在 20 執行緒下可達 每秒 32.1 頁。

這些數字的背後原因是架構選擇：Rust 零成本抽象讓 core 提取沒有 GC 暫停，同時不啟動瀏覽器 runtime，所以延遲天花板本來就低。

三種接入方式

webclaw 有三種使用路徑，可以根據整合情境選擇：

CLI 最直接，適合腳本和快速驗證：

# 提取單頁 markdown
webclaw fetch https://example.com --format markdown

# 遞迴爬取，深度 2
webclaw crawl https://example.com --depth 2 --format json

REST API 適合想在後端服務裡呼叫的情境：

# 啟動本地 API server
webclaw serve --port 3000

# 呼叫提取
curl -X POST http://localhost:3000/extract \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "format": "markdown"}'

MCP Server 是給 AI agent 的原生接入方式，提供 10 個工具，讓 Claude Desktop、Cursor 等支援 MCP 的環境直接呼叫：

Loading diagram...

在 MCP 模式下，agent 可以呼叫 fetch_page（單頁讀取）、crawl_site（全站爬取）、extract_schema（按 schema 結構化提取）、detect_changes（快照對比）等工具，不需要自己處理任何 HTTP 或 HTML 解析邏輯。

兩行讓 Claude 讀得乾淨

最快的整合方式是用 MCP。在 Claude Desktop 的 mcp_settings.json 加入：

{
  "mcpServers": {
    "webclaw": {
      "command": "webclaw",
      "args": ["mcp"]
    }
  }
}

安裝 webclaw 之後（cargo install webclaw 或 Homebrew brew install webclaw），重啟 Claude Desktop，agent 就有了 10 個 web 工具可以直接呼叫。當 Claude 需要讀取網頁內容，它會自動透過 webclaw 發出請求，拿回的是已過濾的 markdown，不是原始 HTML。

品牌提取功能也值得一提：webclaw brand https://example.com 可以提取主要顏色、字型和 logo，適合需要快速分析競品視覺識別的場景。

授權、部署與邊界

webclaw 是 AGPL-3.0 授權，本地使用完全免費。如果需要進階的 antibot 能力（更複雜的 JavaScript 渲染、住宅 IP 輪換），官方提供了 webclaw.io 雲端 API，每月 500 頁免費額度，超過才計費。

本地版已經能處理大多數沒有高強度 antibot 的網站。TLS 指紋欺騙對抗的是特徵識別，不是驗證碼或 Cloudflare Turnstile——後者需要 JavaScript 渲染，本地版目前不支援，需要走雲端 fallback。

架構清晰、數字誠實、接入靈活——這是 webclaw 在眾多爬蟲工具裡值得關注的原因。如果你的 agent 現在還在直接 fetch，升級成本很低，效果立竿見影。

webclaw 的 831 stars 和 37 個 releases 說明它不是概念驗證，而是被真實使用的工具。對 AI 工具開發者來說，把它加進 agent 的工具鏈，是一個值得花半小時的決定。