サイトマップと Robots.txt ジェネレーター

Web サイトの URL を入力するか (1 行に 1 つ)、ドメインを指定します。このツールは、yourdomain.com/sitemap.xml にあるサーバーにダウンロードしてアップロードできる、適切にフォーマットされた XML サイトマップ ファイルを生成します。

XML サイトマップは、Web サイトのすべての重要なページをリストしたファイルで、検索エンジンがページをより迅速に見つけてインデックスを作成できるようにします。 Google Search Console に送信されたサイトマップを含む Web サイトは通常、より徹底的にクロールされます。

サイトマップを生成したら、ルート ドメイン (yourdomain.com/sitemap.xml) にアップロードします。次に、Google Search Console → サイトマップ → サイトマップ URL を入力 → 送信の順に移動します。

インデックスを作成したくないページをブロックします: 管理パネル (/admin/)、ログイン ページ、API エンドポイント (/api/)、重複コンテンツ、検索結果ページ。 /、/sitemap.xml、およびすべてのパブリック コンテンツ ページを常に許可します。

ページを追加または削除するたびにサイトマップを更新します。アクティブなブログまたは e コマース サイトの場合は、lastmod の日付を設定し、毎月再生成します。多くの CMS プラットフォーム (WordPress、Shopify) はこれを自動的に行います。

クロール バジェットとは、Googlebot が一定の期間内にサイト上でクロールするページの数です。クリーンで正確なサイトマップを送信すると、どのページが最も重要であるかがわかり、価値の低いページや重複したページにリソースを浪費するのではなく、Google が最適なコンテンツを優先的にクロールできるようになります。

「AI / LLM トレーニング ボットのブロック」をオンにして、GPTBot、ChatGPT-User、ClaudeBot、Google-Extended、PerplexityBot、Bytespider など、ブロックするクローラーに正確にチェックを入れます。これらのルールは名前付きユーザー エージェントをターゲットにしているため、Googlebot と Bingbot はメインの 'User-agent: *' ブロックで引き続き許可されます。また、「検索エンジンを許可したままにする」をオンにして、完全な Disallow: / と併用して明示的に許可することもできます。

1 つのサイトマップ ファイルは 50,000 URL (非圧縮で 50MB) に制限されています。ページを複数のサイトマップ ファイルに分割し、サイトマップ インデックス モードを使用して、各子サイトマップをリストするサイトマップインデックスを生成します。インデックスのみを Google Search Console に送信すると、残りのインデックスが取得されます。

URL (またはサイトの詳細) を入力して有効な sitemap.xml を生成し、許可/禁止ルールを構成してサイトマップを参照する robots.txt を作成します。 Copy both files to your site root.

GPTBot、ClaudeBot、PerplexityBot、Google-Extended などのボットのユーザー エージェント ルールを追加し、必要に応じて許可または禁止します。ジェネレーターには、標準ルールとともにこれらの AI クローラー ディレクティブを含めることができます。

少なくとも、ユーザー エージェント行、禁止/許可ルール、および sitemap.xml を指すサイトマップ参照。ジェネレーターはこれらを使用して有効なファイルを構築し、カスタム ルールを追加できるようにします。

これは、検索エンジンが一定期間内にサイト上をクロールするページの数です。きれいなサイトマップと robots.txt は、重要なページに予算を費やすのに役立ちます。