# 所有爬虫的通用规则（User-agent: * 代表所有爬虫）
User-agent: *
# 允许爬取所有页面（Disallow: 空代表无禁止）
Disallow: 
# 禁止爬取admin目录下的所有内容
Disallow: /admin/
# 禁止爬取单个文件
Disallow: /private.html

# 单独针对百度爬虫的规则（User-agent: Baiduspider 是百度爬虫的标识）
User-agent: Baiduspider
# 允许百度爬取，但禁止爬取/images目录
Disallow: /images/

# 网站地图的位置（帮助爬虫快速找到所有页面）
Sitemap: https://www.keygentec.com.cn/sitemap.xml