AI 爬虫检查器
检查网站是否利于 ChatGPT、Claude、Perplexity 理解
🌐 工具会直接向您输入的网站请求 robots.txt 与 llms.txt。
此工具会读取 /robots.txt 与 /llms.txt；若网站阻挡浏览器跨站读取，会通过 api.allorigins.win 重试。
快速理解
AI 爬虫检查器可以怎么帮你？
免费 AI 爬虫检查工具，检查 GPTBot、ClaudeBot、PerplexityBot、Googlebot 与 llms.txt 设置。
适合场景
适合开发、调试、整理 API 数据、检查格式或快速生成常用片段。AI 爬虫检查器让你不用安装工具也能先看清数据。
使用方式
AI 爬虫检查器的操作重点是：把文字、代码片段或配置贴到输入区，选择需要的模式后执行。数据很长时，建议先用小段内容确认格式。
结果怎么看
使用AI 爬虫检查器后，结果会尽量保留可复制格式，方便贴回文档、代码或配置文件。若有验证功能，先看错误位置。
隐私与限制
浏览器会连接输入域名的 robots.txt 与 llms.txt；请只检查公开网站。
关于AI 爬虫检查器：开发者工具适合快速检查与转换，不等于完整安全审查；上线前仍需测试与版本管理。
常见问题
为什么有些网站检查失败？
部分网站会用 CORS 阻挡浏览器读取 robots.txt。
GEO 是什么？
GEO 是让 AI 回答引擎更容易理解与引用网站内容的优化方式。