2026-05-31 · 1 Min. Lesezeit
Grundlagen zu robots.txt und sitemap.xml
robots steuert Crawler; die Sitemap listet URL, die entdeckt werden sollen — beides am Launch-Tag nutzen.
SEOCrawlingSitemap
Wichtige Punkte
- robots.txt ist keine Authentifizierung — sensible Pfade serverseitig schuetzen.
- sitemap.xml in der Search Console einreichen, bei grossen Updates IndexNow pingen.
Beide Dateien koppeln
robots.txt mit Sitemap-URL in der Sitemap-Direktive erzeugen.
sitemap.xml nur aus indexierbaren kanonischen URL bauen — noindex-Varianten weglassen.
Häufige Fragen
Soll ich /api disallowen?
Ja — Nicht-Seiten-Endpoints blockieren, um Crawl-Budget zu sparen.
Wie viele URL pro Sitemap?
Unter 50.000 pro Datei; bei Bedarf nach Locale oder Bereich splitten.