2026-05-31 · 1 min de lecture
Bases de robots.txt et sitemap.xml
robots guide les crawlers ; le sitemap liste les URL a decouvrir — utilisez les deux au lancement.
SEOcrawlsitemap
Points clés
- robots.txt n'est pas une authentification — protegez les chemins sensibles cote serveur.
- Soumettez sitemap.xml dans Google Search Console apres deploiement, puis ping IndexNow pour de gros lots.
Associer les deux fichiers
Generez robots.txt avec l'URL du sitemap dans la directive Sitemap.
Construisez sitemap.xml uniquement avec des URL canoniques indexables — excluez les variantes noindex.
Questions fréquentes
Dois-je disallow /api ?
Oui — bloquez les endpoints non-page pour economiser le budget de crawl.
Combien d'URL par sitemap ?
Moins de 50 000 par fichier ; scindez par locale ou section si besoin.