在线Robots文件生成工具
站长工具
在线生成robots.txt文件，可视化配置User-agent、Disallow、Allow等规则，支持WordPress、Discuz等常用预设
快速预设
配置规则
规则组 1
提示: * 表示所有搜索引擎
Disallow
Disallow
Allow
Sitemap（可选）
生成结果预览
工具说明
工具介绍
在线Robots文件生成工具，可视化配置User-agent、Disallow、Allow、Crawl-delay等规则，支持WordPress、Discuz、博客、电商等常用预设模板，一键生成标准的robots.txt文件。
robots.txt指令说明
| User-agent | 指定规则适用的搜索引擎爬虫名称 | Disallow | 禁止爬虫访问的路径 |
|---|---|---|---|
| Allow | 允许爬虫访问的路径（优先级高于Disallow） | Crawl-delay | 设置爬虫抓取间隔（秒） |
| Sitemap | 指定网站地图的URL | #注释 | 以#开头的行为注释 |
使用步骤
选择预设
选择适合的预设模板，或手动配置规则
配置规则
添加User-agent、Disallow/Allow规则
设置Sitemap
添加网站地图URL（可选）
下载使用
复制或下载生成的robots.txt文件
功能特性
支持允许全部、禁止全部、WordPress、Discuz、博客、电商等预设
动态添加规则组和规则，实时预览生成结果
配置变化时自动更新预览内容
支持复制和下载robots.txt文件
常见问题
Q1: robots.txt应该放在哪里？
robots.txt文件应该放在网站根目录下，例如：https://www.example.com/robots.txt
Q2: Allow和Disallow哪个优先级高？
当Allow和Disallow规则同时匹配时，更具体的规则优先。通常Allow规则会覆盖Disallow规则。
Q3: Crawl-delay是否所有爬虫都支持？
Crawl-delay主要被Googlebot、Baiduspider等主流爬虫支持，但并非所有爬虫都遵守此规则。
Q4: 是否需要为每个搜索引擎单独设置规则？
不需要。使用User-agent: *可以为所有爬虫设置通用规则，然后为特定爬虫添加单独的规则组。