为您的网站生成 XML 站点地图和 robots.txt 文件。构建抓取规则，阻止特定的 AI/LLM 机器人，同时保持搜索引擎允许，将站点地图合并到索引中，审核实时站点地图，并立即导出为 Google Search Console 准备的文件。
需要互联网：the sitemap is fetched on our server。请求后不会存储任何内容。
三合一抓取控制工具包：从 URL 列表构建有效的 XML 站点地图（或站点地图索引），使用允许/禁止规则和每个机器人 AI 阻止制作匹配的 robots.txt，并审核任何实时站点地图，所有这些都在您的浏览器中免费且无需注册。 WordPress、Shopify 和静态网站的预设，加上内置验证警告，可让您的抓取指令保持一致并为 Search Console 做好准备。
该引擎构建有效的 XML 站点地图和匹配的 robots.txt，以便搜索引擎可以有效地发现和抓取您的页面。正确的抓取指令是最容易被忽视的排名基础之一，一个错误的禁止可能会向 Google 隐藏您网站的整个部分。站点地图生成器会自动添加更改频率、优先级和当前的最新版本，甚至可以根据 URL 深度对优先级进行加权，以便您的主页和顶部部分的排名超过深层页面。
从预设（WordPress、Shopify、静态）开始或设置您自己的允许/禁止路径，然后勾选 AI 机器人以阻止并可选择保持允许搜索引擎。
粘贴您的页面 URL 以构建包含更改频率、优先级和最后修改的 sitemap.xml，或切换到索引模式以组合多个子站点地图。
在发货之前，请查看内置验证注释，以捕获取消索引禁止、忽略的爬行延迟或缺少站点地图行。
将实时站点地图 URL 粘贴到“审核”选项卡中以查看条目计数、HTTPS 状态并深入了解站点地图索引。
下载 robots.txt 和 sitemap.xml，将它们上传到您的域根目录，然后在 Google Search Console 中提交站点地图。
AI 训练和抓取机器人、GPTBot、ClaudeBot、Google-Extended、PerplexityBot、Bytespider 等均单独列出，因此您可以准确勾选要阻止的机器人，而不是全有或全无的开关。打开“允许搜索引擎”以明确允许 Googlebot、Bingbot 和社交爬虫，即使您禁止：/对于其他所有人，经典的“阻止除搜索之外的所有内容”配方。一键预设涵盖 WordPress、Shopify 和 static/Next.js 项目。
单个站点地图文件最多可以容纳 50,000 个 URL，因此大型站点将其页面拆分为多个文件，并通过站点地图索引将它们捆绑在一起。将构建器切换到索引模式以从子站点地图 URL 生成“<sitemapindex>”，并且该工具会在 URL 列表超出限制时向您发出警告。
常见的失败包括声明错误的规范主机、阻止页面需要呈现的资源或在站点地图中列出重定向到其他地方的 URL。实时验证警告会标记全站点禁止、Googlebot 忽略的抓取延迟、缺少站点地图行或非绝对站点地图网址，这些错误正是导致“已发现，未编入索引”和“带有重定向的页面”问题的错误。然后，实时审核选项卡会解析任何站点地图或站点地图索引，以便您可以确认最终结果。
输入您网站的 URL（每行一个）或提供您的域名。该工具会生成格式正确的 XML 站点地图文件，您可以下载并上传到您的服务器（网址为 yourdomain.com/sitemap.xml）。
XML 站点地图是一个列出网站所有重要页面的文件，可帮助搜索引擎更快地找到它们并建立索引。向 Google Search Console 提交站点地图的网站通常会被更彻底地抓取。
生成站点地图后，将其上传到您的根域 (yourdomain.com/sitemap.xml)。然后转到 Google Search Console → 站点地图 → 输入站点地图 URL → 提交。
阻止您不想索引的页面：管理面板 (/admin/)、登录页面、API 端点 (/api/)、重复内容和搜索结果页面。始终允许：/、/sitemap.xml 以及所有公共内容页面。
每当添加或删除页面时更新站点地图。对于活跃的博客或电子商务网站，设置 Lastmod 日期并每月重新生成。许多 CMS 平台（WordPress、Shopify）会自动执行此操作。
抓取预算是指 Googlebot 在给定时间内在您的网站上抓取的页面数量。提交干净、准确的站点地图会表明哪些页面最重要，帮助 Google 优先抓取您的最佳内容，而不是将资源浪费在低价值或重复的页面上。
打开“阻止 AI / LLM 训练机器人”并准确勾选要阻止的爬虫：GPTBot、ChatGPT-User、ClaudeBot、Google-Extended、PerplexityBot、Bytespider 等。由于这些规则针对指定的用户代理，因此 Googlebot 和 Bingbot 在您的主“用户代理：*”块下仍保持允许状态。您还可以打开“允许搜索引擎”以明确允许它们，甚至与完全禁止：/一起。
单个站点地图文件的上限为 50,000 个 URL（未压缩的大小为 50MB）。将页面拆分为多个站点地图文件，然后使用站点地图索引模式生成列出每个子站点地图的站点地图索引。仅将索引提交到 Google Search Console，它将获取其余部分。
输入您的 URL（或站点详细信息）以生成有效的 sitemap.xml，并配置允许/禁止规则以生成引用您的站点地图的 robots.txt。将这两个文件复制到您的站点根目录。
为 GPTBot、ClaudeBot、PerplexityBot 和 Google-Extended 等机器人添加用户代理规则，然后根据需要允许或禁止。生成器可以将这些人工智能爬虫指令与标准规则一起包含在内。
至少需要一个用户代理行、任何禁止/允许规则以及指向您的 sitemap.xml 的站点地图引用。生成器使用这些构建一个有效的文件，并允许您添加自定义规则。
这是搜索引擎在给定时间内在您的网站上抓取的页面数量。干净的站点地图和 robots.txt 有助于将预算花在重要页面上。
Tool GuidesPhotos carry hidden data like GPS location and camera details. Here's why that matters for privacy and how to strip it before sharing.
Tool GuidesCPS means clicks per second. Here's how it's measured, what a good score looks like, and how to test your own click speed for free.
Tool GuidesCombine several PDFs into one document, reorder the pages, and keep everything private — no software and no server upload.