2026-05-31 · 1 min leestijd
Basis van robots.txt en sitemap.xml
robots stuurt crawlers; de sitemap somt URL op die u wilt laten ontdekken — gebruik beide op launchdag.
SEOcrawlensitemap
Belangrijkste punten
- robots.txt is geen authenticatie — bescherm gevoelige paden op de server.
- Dien sitemap.xml in Search Console in na deploy; ping IndexNow bij grote batches.
De twee bestanden koppelen
Genereer robots.txt met sitemap-URL in de Sitemap-directive.
Bouw sitemap.xml alleen uit indexeerbare canonieke URL — sla noindex-varianten over.
Veelgestelde vragen
Moet ik /api disallowen?
Ja — blokkeer niet-pagina-endpoints om crawl-budget te sparen.
Hoeveel URL per sitemap?
Minder dan 50.000 per bestand; splits op locale of sectie indien nodig.