ClaudeBot 該封鎖嗎?2026 AI 爬蟲對 SEO 的影響與防禦策略

ClaudeBot 是什麼？跟 Google Bot 差在哪？

ClaudeBot 是 Anthropic 開發的網頁爬蟲，用於：

• 收集網頁內容訓練 Claude 模型
• 即時檢索（Claude 在回答用戶時可能 fetch 網頁）
• 建立網頁知識圖譜

跟 Google Bot 的本質差別:

User-Agent 字串:

Mozilla/5.0 (compatible; ClaudeBot/1.0; +https://www.anthropic.com/claudebot)

對 SEO 的影響：三個層次

短期（< 6 個月）：看不到流量損失

ClaudeBot 爬你的網站不會直接影響 Google 搜尋排名——Google 的演算法跟 Anthropic 的爬蟲沒關係。短期感覺不到差別。

中期（6-18 個月）:Zero-Click Search 風險

重要的是「用戶行為改變」。當用戶習慣用 Claude / Perplexity / ChatGPT 找答案，且這些 AI 已經吸收你網站內容：

• 用戶問「Mason AI 實驗室介紹」——AI 直接給答案，用戶不點 masonailab.com**
• 用戶問「怎麼用 Ollama」——AI 從你的 Ollama 教學文整理答案，用戶不點原文

這就是 Zero-Click Search 的真實影響。對「內容站、教學站」的傷害最大。

長期（2-5 年）：商業模式變化

最壞情況:AI 把全網內容免費化，內容創作者的廣告 / 訂閱 / 工商模式崩盤。 最好情況:AI 引用流量(AI 在回答時引用源網站)成為新型曝光通道，引用次數可能比 Google 搜尋更有商業價值。

目前(2026)趨勢：介於兩者之間，Anthropic、Perplexity 開始把「引用源網站」做成主要功能，提供原網站「新型流量」。

三層防禦選項

1. robots.txt 軟封鎖（信譽好的爬蟲會遵守）

最簡單。在你網站根目錄的 robots.txt 加：

完全禁止 ClaudeBot:

User-agent: ClaudeBot
Disallow: /

只禁某些路徑:

User-agent: ClaudeBot
Disallow: /premium/
Disallow: /paid-content/
Crawl-delay: 30

Crawl-delay: 30 表示「每 30 秒最多爬 1 頁」——避免突發密集爬取。

注意:robots.txt 是「請求」不是強制，只有「有信譽的爬蟲」(Google、Anthropic、Microsoft)會遵守。惡意爬蟲完全不理。

2. Nginx 速率限制（技術防禦）

對「不遵守 robots.txt 的爬蟲」用 Nginx 強制限速：

http {
    limit_req_zone $http_user_agent zone=claudebot:10m rate=10r/m;

    server {
        # 對 ClaudeBot 限速:每分鐘最多 10 次請求
        if ($http_user_agent ~* "ClaudeBot") {
            limit_req zone=claudebot burst=5 nodelay;
        }
        
        # ...其他設定
    }
}

超過頻率回 429 Too Many Requests，正常用戶不受影響。

3. Cloudflare WAF Managed Challenge（最強）

Cloudflare 提供「AI Scrapers and Crawlers」管理規則。在 Dashboard:

1. 進 Security → WAF
2. 加規則：Field: AI Crawler / Identified Bot → Action: Managed Challenge
3. 啟用後 ClaudeBot 訪問會遇到 JavaScript challenge（自動驗證，真實爬蟲過不了）

進階用法：用 IP 範圍精準辨識（Anthropic 公開）:

160.79.104.0/21

對「這個 IP 範圍允許 100 req/min」,其他 IP 標 ClaudeBot User-Agent 直接擋（可能是冒名的爬蟲）。

我的建議：速率限制 + 觀察

不要全面封鎖——理由：

1. AI 搜尋產品 2026 起會帶來「AI 引用流量」——被引用 = 新型曝光
2. 完全擋 AI 爬蟲 = 自我邊緣化——未來搜尋路徑會包含 AI，擋了等於從這個通道消失
3. Anthropic 在 AI 倫理上比同業積極——封鎖 ClaudeBot 但放 GPTBot、ByteSpider 邏輯怪異

Mason 推薦的設定:

# robots.txt
User-agent: ClaudeBot
Crawl-delay: 30

User-agent: GPTBot
Crawl-delay: 30

User-agent: anthropic-ai
Crawl-delay: 30

User-agent: PerplexityBot
Crawl-delay: 30

User-agent: ByteSpider
Disallow: /

User-agent: facebookexternalhit
Crawl-delay: 60

邏輯:

• 對 OpenAI、Anthropic、Perplexity:速率限制但允許——保留 AI 引用流量
• 對 ByteDance(ByteSpider):完全封鎖——SEO 上幾乎無回饋
• 對 Facebook crawler:重度限速——常常爬太兇

加 Nginx 速率限制 + Cloudflare Managed Challenge,保護伺服器資源、保留 AI 引用機會。

監控建議

• 每月查 Cloudflare Analytics → Security → Bot，看 ClaudeBot 流量比例
• Search Console → Insights(Google 2026 推出)：看「AI search referral」流量趨勢
• Server log analysis(GoAccess、AWStats)：看實際 ClaudeBot 訪問量

如果 ClaudeBot 占伺服器流量 > 10%，考慮加強速率限制。如果 ClaudeBot 帶來實質引用流量（可從 Claude.ai 點過來的 referrer 看），調整成「鼓勵爬取」。

❓ FAQ

grep -i "ClaudeBot" /var/log/nginx/access.log | head -20