मुख्य सामग्री पर जाएं

2026-05-31 · 1 मिनट पढ़ाई

robots.txt aur sitemap.xml ke basics

robots crawlers ko guide karta hai; sitemap un URL ko list karta hai jo discover honi chahiye — launch par dono use karein.

SEOcrawlingsitemap

मुख्य बिंदु

  • robots.txt authentication nahi hai — sensitive paths server par protect karein.
  • Deploy ke baad GSC mein sitemap.xml submit karein; bade batches par IndexNow ping.

Dono files saath mein

robots.txt generate karein jisme Sitemap directive mein sitemap URL ho.

sitemap.xml sirf indexable canonical URL se banayein — noindex variants skip karein.

अक्सर पूछे जाने वाले प्रश्न

Kya /api disallow karna chahiye?

Haan — non-page endpoints block karke crawl budget bachayein.

Har sitemap mein kitni URL?

50k se kam; zarurat par locale/section se split.