# =====================通用所有搜索引擎规则=====================
User-agent: *
# 禁止抓取所有带?动态参数（分页page、排序sort、筛选、搜索参数一网打尽）
Disallow: /*?
# 后台管理目录
Disallow: /admin/
# 站内搜索结果页
Disallow: /search/
# 证书预览、资料下载临时预览页
Disallow: /download/preview/
Disallow: /cert/view/
# 资讯年月归档页（低质聚合页）
Disallow: /news/archive/
# 测试页面、临时文件目录
Disallow: /temp/
Disallow: /test/

# =====================百度爬虫单独配置（国内核心）=====================
User-agent: Baiduspider
Allow: /
# 百度图片爬虫单独放开图片抓取
User-agent: Baiduspider-image
Allow: /

# =====================搜狗、360、必应、谷歌、雅虎爬虫=====================
User-agent: Sosospider
Allow: /

User-agent: Sogou Spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Slurp
Allow: /

# 站点地图（百度优先读取）
Sitemap: https://www.kintest.cn/sitemap.xml