2026-05-31 · Чтение 1 мин
Основы robots.txt и sitemap.xml
robots направляет краулеры; sitemap перечисляет URL для обнаружения — настройте оба в день запуска.
SEOкраулингкарта сайта
Основные выводы
- robots.txt — не аутентификация; чувствительные пути защищайте на сервере.
- После деплоя отправьте sitemap.xml в Search Console; при крупных обновлениях — IndexNow.
Связать два файла
Сгенерируйте robots.txt с URL sitemap в директиве Sitemap.
Собирайте sitemap.xml только из индексируемых canonical URL — без noindex-вариантов.
Часто задаваемые вопросы
Нужно ли disallow /api?
Да — блокируйте нестраничные endpoint, чтобы экономить краулинговый бюджет.
Сколько URL в одной sitemap?
Меньше 50 тыс. на файл; делите по локали или разделу.