Robots.txt 测试器
输入网站，查看它的 robots.txt 规则、crawl-delay 以及声明的站点地图。
如何使用 Robots.txt 测试器
- 输入网站网址或域名。
- 点击"测试 robots.txt"。
- 查看按 user-agent 分组的规则，以及所有站点地图。
关于 Robots.txt 测试器
Robots.txt 测试器会抓取网站的 /robots.txt，并展示它实际写了什么：按 User-agent 分组的规则、每条 Allow 与 Disallow 路径、任何 Crawl-delay，以及它声明的每一行 Sitemap。只需输入域名，它就会为你读取实时文件。
这是最快的方式来确认网站没有意外屏蔽搜索引擎、查看哪些部分被禁止抓取，以及核对你的站点地图是否确实被 robots.txt 引用——这个小细节有助于搜索引擎发现它。如果不存在 robots.txt，也会如实报告，默认情况下这意味着整站可被抓取。要创建或编辑该文件，请用robots.txt 生成器；要统计它指向的站点地图中的网址数，请用Sitemap 网址计数器。
常见问题
测试器会显示什么？
按 user-agent 分组的 robots.txt 规则——Allow 与 Disallow 路径以及任何 crawl-delay——加上文件声明的每个站点地图，以及是否找到了 robots.txt。
如果网站没有 robots.txt 呢？
工具会报告未找到。没有 robots.txt 时，搜索引擎通常可以自由抓取整站。
Disallow 值为空会屏蔽网站吗？
不会——Disallow 后面为空表示相反的含义：该 user-agent 被允许完全访问。测试器会清楚地标注这一点。
我可以只输入域名吗？
可以。输入域名或任意页面网址，工具会自动检查站点根目录的 robots.txt。
它会改动网站的任何内容吗？
不会。它只读取公开的 robots.txt 文件并显示；从不修改任何内容。