AI 爬蟲檢查器
檢查網站是否利於 ChatGPT、Claude、Perplexity 理解
此工具會讀取 /robots.txt 與 /llms.txt；若網站阻擋瀏覽器跨站讀取，會透過 api.allorigins.win 重試。
快速理解
AI 爬蟲檢查器可以怎麼幫你？
免費 AI 爬蟲檢查工具，檢查 GPTBot、ClaudeBot、PerplexityBot、Googlebot 與 llms.txt 設定。
適合情境
適合快速查看網站根目錄的 robots.txt、llms.txt 是否能讀取，並初步比對七個內建爬蟲名稱的根路徑規則。這不是實際爬蟲訪問紀錄，也不會掃描整站每一個頁面或登入區域。
使用方式
輸入網站網址後按檢查；未加協定時會補 https，路徑會被移除，只查該來源的 /robots.txt 與 /llms.txt。工具加上時間參數讀取兩個檔案，直接請求失敗時再透過公開代理重試。
結果怎麼看
found 表示取得回應，llms.txt 另要求內容非空；並未驗證檔案格式。allowed 或 blocked 只是對根路徑 / 的簡化規則判斷，優先使用同名 User-agent，否則使用 *；unknown 表示 robots 無法取得。
隱私與限制
檢查會連線到目標網站；直接請求失敗時，完整檔案請求網址會送到 api.allorigins.win。目標與代理都可能收到連線資訊，因此不要輸入內部主機、含帳密網址或不適合向第三方揭露的網站來源。
此解析器沒有完整處理路徑萬用字元或結尾比對，也不檢查各頁存取權限、伺服器封鎖及爬蟲是否遵守規則。網站回傳替代 HTML 頁面也可能被當成 found；重要判斷請直接核對原始檔案。
常見問題
為什麼有些網站檢查失敗？
部分網站會用 CORS 阻擋瀏覽器讀取 robots.txt，這不一定代表爬蟲不能抓。
要允許所有 AI 爬蟲嗎？
不一定，取決於你的內容策略。工具只協助你看目前設定。
GEO 是什麼？
GEO 是 Generative Engine Optimization，讓 AI 回答引擎更容易理解與引用網站內容。