사이트맵 및 Robots.txt 생성기

웹사이트의 URL(한 줄에 하나씩)을 입력하거나 도메인을 제공하세요. 이 도구는 yourdomain.com/sitemap.xml에서 서버에 다운로드하고 업로드할 수 있는 올바른 형식의 XML 사이트맵 파일을 생성합니다.

XML 사이트맵은 웹사이트의 모든 중요한 페이지를 나열하는 파일로, 검색 엔진이 해당 페이지를 더 빠르게 찾고 색인화하는 데 도움이 됩니다. Google Search Console에 제출된 사이트맵이 있는 웹사이트는 일반적으로 더 철저하게 크롤링됩니다.

사이트맵을 생성한 후 루트 도메인(yourdomain.com/sitemap.xml)에 업로드하세요. 그런 다음 Google Search Console → 사이트맵 → 사이트맵 URL 입력 → 제출로 이동합니다.

색인 생성을 원하지 않는 페이지(관리 패널(/admin/), 로그인 페이지, API 엔드포인트(/api/), 중복 콘텐츠, 검색 결과 페이지)를 차단하세요. 항상 허용: /, /sitemap.xml 및 모든 공개 콘텐츠 페이지.

페이지를 추가하거나 제거할 때마다 사이트맵을 업데이트하세요. 활성 블로그나 전자상거래 사이트의 경우 마지막 수정 날짜를 설정하고 매월 다시 생성하세요. 많은 CMS 플랫폼(WordPress, Shopify)에서는 이 작업을 자동으로 수행합니다.

크롤링 예산은 Googlebot이 지정된 기간 내에 귀하의 사이트를 크롤링하는 페이지 수입니다. 깨끗하고 정확한 사이트맵을 제출하면 어떤 페이지가 가장 중요한지 알 수 있으므로 Google이 가치가 낮거나 중복된 페이지에 리소스를 낭비하는 대신 최고의 콘텐츠를 크롤링하는 데 우선순위를 두는 데 도움이 됩니다.

'AI/LLM 훈련 봇 차단'을 켜고 GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, Bytespider 등 어떤 크롤러를 차단할지 정확하게 선택하세요. 이러한 규칙은 명명된 user-agent를 대상으로 하기 때문에 Googlebot 및 Bingbot은 기본 'User-agent: *' 블록에서 허용됩니다. 전체 Disallow: /와 함께 '검색 엔진 허용'을 켜서 명시적으로 허용할 수도 있습니다.

단일 사이트맵 파일은 URL 50,000개(압축되지 않은 경우 50MB)로 제한됩니다. 페이지를 여러 사이트맵 파일로 분할한 다음 사이트맵 색인 모드를 사용하여 각 하위 사이트맵을 나열하는 사이트맵 색인을 생성하세요. Google Search Console에 색인만 제출하면 나머지는 가져옵니다.

URL(또는 사이트 세부정보)을 입력하여 유효한 sitemap.xml을 생성하고 허용/비허용 규칙을 구성하여 사이트맵을 참조하는 robots.txt를 생성하세요. 두 파일을 모두 사이트 루트에 복사합니다.

GPTBot, ClaudeBot, PerplexityBot 및 Google-Extended와 같은 봇에 대한 사용자 에이전트 규칙을 추가한 다음 원하는 대로 허용하거나 허용하지 않습니다. 생성기는 표준 규칙과 함께 이러한 AI 크롤러 지시문을 포함할 수 있습니다.

최소한 User-agent 줄, Disallow/Allow 규칙 및 sitemap.xml을 가리키는 Sitemap 참조가 필요합니다. 생성기는 이를 사용하여 유효한 파일을 작성하고 사용자 정의 규칙을 추가할 수 있도록 합니다.

특정 기간 동안 검색 엔진이 귀하의 사이트를 크롤링하는 페이지 수를 나타냅니다. 깔끔한 사이트맵과 robots.txt는 중요한 페이지에 예산을 지출하는 데 도움이 됩니다.