2026-05-31 · 読了目安 1 分
robots.txt と sitemap.xml の基礎
robots はクローラーを誘導し、sitemap は発見させたい URL を列挙 — ローンチ日に両方設定します。
SEOクロールサイトマップ
重要ポイント
- robots.txt は認証ではありません — 機密パスはサーバー側で保護。
- デプロイ後 GSC で sitemap.xml を送信し、大量更新時は IndexNow を ping。
2 ファイルをセットで
Sitemap ディレクティブに sitemap URL を書いた robots.txt を生成。
インデックス可能な canonical URL のみ sitemap.xml に含め、noindex 版は除外。
よくある質問
/api を disallow すべき？
はい — ページ以外のエンドポイントをブロックしてクロール予算を節約。
1 sitemap あたりの URL 数は？
1ファイル 5 万未満；言語やセクションで分割。