2026-05-31 · 约 1 分钟阅读
robots.txt 与 sitemap.xml 基础
robots 指导爬虫；sitemap 列出希望被发现的 URL——上线日两者一起配置。
SEO抓取站点地图
要点
- robots 不是鉴权。
- 部署后在 GSC 提交 sitemap，大批量更新可 ping IndexNow。
两个文件一起配置
robots 中写入 Sitemap 指令。
sitemap 仅收录可索引 canonical URL。
常见问题
要屏蔽 /api 吗？
建议屏蔽非页面端点以节省抓取预算。
每个 sitemap 多少 URL？
单文件建议低于 5 万；按语言或栏目拆分。