Citlyze 新功能:Brand FactCheck、Ask Citlyze、AI 購物與 AI 中的廣告
機器人存取監控

當 AI 爬蟲無法存取你的網站時,立即知道

機器人存取監控會持續檢查 AI 爬蟲能否到達你的關鍵頁面。上個月的 robots.txt 檢查說明不了今天的情況,所以 Citlyze 會針對你的頁面重新測試每個爬蟲,一旦有爬蟲被擋就立刻通知你,並告訴你是哪一層擋下的。

14 天免費試用 · 無需信用卡

Bot access

Robots policy vs live responses · checked continuously

Re-check now
PageGPTBotOAI-SearchBotPerplexityBotClaudeBot//pricing/product/docs
Reachable Blocked Your policy

行銷、SEO 與代理商團隊的信賴之選。

  • ChatGPT
  • Gemini
  • Perplexity
  • DeepSeek
  • Grok
  • Google AI Overview & AI Mode
  • Bing Copilot

Bot access

Robots policy vs live responses · checked continuously

Re-check now
PageGPTBotOAI-SearchBotPerplexityBotClaudeBot//pricing/product/docs
Reachable Blocked Your policy
持續檢查

每個受監控頁面,逐一檢查各機器人

你的首頁與被引用最多的頁面會自動納入監控。再加入其他你不能讓 AI 看不見的頁面。

  • 將 robots.txt 政策與即時回應互相比對
  • 重要 AI 爬蟲的個別狀態
  • 受監控頁面自動以你被引用最多的 URL 建立

Open incident

PerplexityBot · /pricing

Open

Firewall/CDN block · cloudflare

The request was rejected before your app answered. Check your bot rules and allow this crawler.

Aug 15

first seen

2h ago

last check

Email + Slack

alerted

Resolves automatically when access recovers.

Auto-resolve
事件警示

警示會指出原因

當機器人失去存取權限時,事件會指出是哪一層造成封鎖,讓你知道該打開哪個後台。

  • 區分 robots.txt 封鎖與防火牆、CDN 封鎖
  • 可辨識時,會指出造成封鎖的服務商
  • 存取恢復後事件自動解除

AI crawler traffic

Signed server-side requests · last 30 days

Live

2,442

crawler hits

86

URLs requested

GPTBot

top crawler

Daily hits

+22%
Jun 1Jun 8Jun 15Jun 30

Bot breakdown

GPTBotOpenAI1,184
PerplexityBotPerplexity746
ClaudeBotAnthropic318
GooglebotGoogle194
符合你的政策

尊重你規則的監控

你刻意封鎖的機器人不會觸發提醒。只有原本可以存取、後來卻被擋住的情況,才會開啟事件。

  • 刻意設定的 robots.txt 規則不會被標記為事件
  • 依方案可監控 5 到 100 個頁面
  • 搭配 AI 爬蟲追蹤,確認機器人回訪
常見問題

機器人存取監控

想看看 Citlyze 的示範嗎? 預約示範

robots.txt 只是政策層。防火牆與 CDN 的機器人防護會在你的網站回應之前先行攔截,而它們的預設規則常常把 AI 爬蟲一併擋下。這種封鎖從讀取 robots.txt 是看不出來的;只有以機器人的方式請求頁面時才會顯現。

當買家提問時,AI 會推薦你嗎?

追蹤 ChatGPT、Gemini、Perplexity、DeepSeek、Grok、Google AI Overview & AI Mode和Bing Copilot 如何提及、引用並排名你的品牌。檢視已追蹤的回答,以及需要補上的缺口。

無需信用卡

一位內容負責人在站立式辦公桌前發布頁面