2026-05-31 · 1분 읽기
robots.txt와 sitemap.xml 기초
robots는 크롤러를 안내하고 sitemap은 발견시킬 URL을 나열합니다 — 출시일에 둘 다 설정하세요.
SEO크롤링사이트맵
핵심 요점
- robots.txt는 인증이 아닙니다 — 민감 경로는 서버에서 보호하세요.
- 배포 후 Search Console에 sitemap.xml 제출, 대량 업데이트 시 IndexNow ping.
두 파일을 함께
Sitemap 지시어에 sitemap URL을 넣은 robots.txt를 생성합니다.
인덱싱 가능한 canonical URL만 sitemap.xml에 넣고 noindex 변형은 제외합니다.
자주 묻는 질문
/api를 disallow 해야 하나요?
예 — 페이지가 아닌 엔드포인트를 막아 크롤 예산을 절약합니다.
사이트맵당 URL 수는?
파일당 5만 미만; 필요 시 언어/섹션별 분할.