Создавайте XML-карты сайта и файлы robots.txt для вашего веб-сайта. Создавайте правила сканирования, блокируйте определенных ботов AI/LLM, сохраняя при этом поисковые системы разрешенными, объединяйте карты сайта в индекс, проверяйте действующую карту сайта и мгновенно экспортируйте файлы, готовые для консоли поиска Google.
Набор инструментов для управления сканированием «три в одном»: создайте действительную XML-карту сайта (или индекс карты сайта) из списка URL-адресов, создайте соответствующий файл robots.txt с правилами разрешения/запрета и блокировкой AI для каждого бота, а также проверяйте любую действующую карту сайта, и все это в вашем браузере, бесплатно и без регистрации. Предустановки для WordPress, Shopify и статических сайтов, а также встроенные предупреждения проверки обеспечивают согласованность директив сканирования и готовность к использованию в Search Console.
Этот движок создает действительную XML-карту сайта и соответствующий файл robots.txt, чтобы поисковые системы могли эффективно обнаруживать и сканировать ваши страницы. Правильные директивы сканирования — одна из наиболее игнорируемых основ ранжирования: одно неуместное Disallow может скрыть от Google целый раздел вашего сайта. Конструктор карты сайта автоматически добавляет частоту изменений, приоритет и сегодняшний последний мод и может даже взвешивать приоритет по глубине URL-адреса, чтобы ваша домашняя страница и верхние разделы превосходили глубокие страницы.
Функции
Генератор XML-карты сайта с частотой изменений, приоритетом и автоматическим последним модом
Режим индексирования карты сайта для больших сайтов (с превышением ограничения в 50 000 URL)
Конструктор robots.txt с правилами разрешения/запрета и задержкой сканирования
Предустановки: разрешить все, заблокировать все, WordPress, Shopify, статический/Next.js, заблокировать AI.
Блокировка искусственного интеллекта для каждого бота, отметьте GPTBot, ClaudeBot, Google-Extended и другие.
«Оставить доступ к поисковым системам» позволяет разрешить Google и Bing, блокируя остальные
Предупреждения о распространенных ошибках сканирования в режиме реального времени
Живой аудит карты сайта с поддержкой индекса карты сайта
Готовый для Search Console экспорт файлов sitemap.xml и robots.txt
Как использовать Карта сайта и генератор Robots.txt
1
Создайте свой robots.txt
Начните с предустановленных настроек (WordPress, Shopify, статический) или установите свои собственные пути разрешения/запрета, затем отметьте ботов AI, чтобы заблокировать и, при необходимости, оставить поисковые системы разрешенными.
2
Создайте карту сайта
Вставьте URL-адреса своих страниц, чтобы создать файл sitemap.xml с помощью Changefreq, Priority и Lastmod, или переключитесь в режим индексирования, чтобы объединить несколько дочерних файлов Sitemap.
3
Проверьте предупреждения
Перед отправкой просмотрите встроенные примечания к проверке, чтобы обнаружить запрет на деиндексацию, игнорируемую задержку сканирования или отсутствующую строку карты сайта.
4
Проведите аудит вживую
Вставьте URL-адрес активной карты сайта на вкладку «Аудит», чтобы просмотреть количество записей, статус HTTPS и детализировать индекс карты сайта.
5
Экспортировать и отправить
Загрузите robots.txt и sitemap.xml, загрузите их в корень своего домена и отправьте карту сайта в консоль поиска Google.
Распространенные случаи использования
Создайте файл sitemap.xml из списка URL-адресов страниц.
Блокируйте ChatGPT, Claude и других ботов AI, сохраняя при этом Google разрешенным
Создайте файл robots.txt для WordPress, Shopify или сайта Next.js.
Объедините несколько карт сайта в один индекс карты сайта для большого сайта.
Аудит и проверка актуальной карты сайта перед отправкой в Search Console.
Исправьте сообщение «Обнаружено: не проиндексировано», обеспечив единообразие роботов, карты сайта и хоста.
Подробное руководство
Точный контроль над сканерами AI и поисковыми системами.
Боты для обучения и парсинга ИИ, GPTBot, ClaudeBot, Google-Extended, PerplexityBot, Bytespider и другие, перечислены индивидуально, поэтому вы можете отметить, какие именно блокировать, вместо переключателя «все или ничего». Включите параметр «Оставить доступ к поисковым системам», чтобы явно разрешить роботам Googlebot, Bingbot и социальным сканерам, даже если вы запретили: / для всех остальных, используя классический рецепт «заблокировать все, кроме поиска». Пресеты в один клик охватывают проекты WordPress, Shopify и static/Next.js.
Создайте индекс карты сайта и избегайте стены из 50 000 URL-адресов.
Один файл карты сайта может содержать не более 50 000 URL-адресов, поэтому крупные сайты разбивают свои страницы на несколько файлов и связывают их вместе с помощью индекса карты сайта. Переключите конструктор в режим индексирования, чтобы сгенерировать этот `<sitemapindex>` из URL-адресов дочерней карты сайта, и инструмент предупредит вас в тот момент, когда список URL-адресов пересечет предел.
Избегайте ошибок сканирования, которые блокируют индексацию
Распространенные ошибки включают объявление неправильного канонического хоста, блокировку ресурсов, которые страницы должны отображать, или указание URL-адресов в карте сайта, которые перенаправляют в другое место. Предупреждения динамической проверки отмечают запрет всего сайта, задержку сканирования, которую робот Googlebot игнорирует, отсутствующую строку карты сайта или неабсолютные URL-адреса карты сайта — именно те ошибки, которые вызывают проблемы «Обнаружено, не проиндексировано» и «Страница с перенаправлением». Затем на вкладке живого аудита анализируется любая карта сайта или индекс карты сайта, чтобы вы могли подтвердить окончательный результат.
Часто задаваемые вопросы
Как бесплатно создать файл sitemap.xml для моего сайта?
Введите URL-адреса вашего веб-сайта (по одному в каждой строке) или укажите свой домен. Инструмент генерирует правильно отформатированный XML-файл карты сайта, который вы можете скачать и загрузить на свой сервер по адресу yourdomain.com/sitemap.xml.
Что такое XML-карта сайта и зачем она мне?
Карта сайта XML — это файл, в котором перечислены все важные страницы вашего сайта, что помогает поисковым системам быстрее находить и индексировать их. Веб-сайты с файлами Sitemap, отправленными в консоль поиска Google, обычно сканируются более тщательно.
Как отправить карту сайта в Google?
После создания карты сайта загрузите ее в свой корневой домен (yourdomain.com/sitemap.xml). Затем перейдите в консоль поиска Google → Карты сайта → Введите URL-адрес карты сайта → Отправить.
Что мне следует поместить в файл robots.txt?
Блокируйте страницы, которые вы не хотите индексировать: панели администратора (/admin/), страницы входа, конечные точки API (/api/), дублированный контент и страницы результатов поиска. Всегда разрешайте: /, /sitemap.xml и все страницы с общедоступным контентом.
Как часто мне следует обновлять карту сайта?
Обновляйте карту сайта каждый раз, когда добавляете или удаляете страницы. Для активных блогов или сайтов электронной коммерции установите даты последнего обновления и обновляйте их ежемесячно. Многие платформы CMS (WordPress, Shopify) делают это автоматически.
Что такое краулинговый бюджет и как его улучшить с помощью карты сайта?
Бюджет сканирования – это количество страниц, которые робот Googlebot просканирует на вашем сайте за определенный период времени. Отправка чистой и точной карты сайта сигнализирует о том, какие страницы наиболее важны, помогая Google расставить приоритеты в сканировании вашего лучшего контента, а не тратить ресурсы на малоценные или повторяющиеся страницы.
Как заблокировать ChatGPT, Claude и других ботов с искусственным интеллектом, но сохранить Google?
Включите «Блокировать обучающих ботов AI/LLM» и отметьте, какие именно сканеры блокировать: GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, Bytespider и другие. Поскольку эти правила нацелены на именованные пользовательские агенты, Googlebot и Bingbot остаются разрешенными в вашем основном блоке «User-agent: *». Вы также можете включить параметр «Оставлять поисковые системы разрешенными», чтобы явно разрешить их, даже вместе с полным запретом: /.
На моем сайте более 50 000 URL-адресов. Что мне делать?
Один файл карты сайта ограничен 50 000 URL-адресами (и 50 МБ в несжатом виде). Разделите свои страницы на несколько файлов карты сайта, а затем используйте режим индекса карты сайта, чтобы создать файл карты сайта, в котором перечислены все дочерние карты сайта. Отправьте в консоль поиска Google только индекс, и он получит все остальное.
Как создать файлы sitemap.xml и robots.txt для моего сайта?
Введите URL-адреса (или сведения о сайте), чтобы создать действительный файл sitemap.xml, и настройте правила разрешения/запрета для создания файла robots.txt, ссылающегося на вашу карту сайта. Скопируйте оба файла в корень вашего сайта.
Как разрешить или заблокировать поисковые роботы с искусственным интеллектом в файле robots.txt?
Добавьте правила пользовательского агента для таких ботов, как GPTBot, ClaudeBot, PerplexityBot и Google-Extended, а затем Разрешите или Запретите по своему усмотрению. Генератор может включать эти директивы ИИ-сканера наряду со стандартными правилами.
Что должен содержать файл robots.txt?
Как минимум, строка User-agent, все правила Disallow/Allow и ссылка на Sitemap, указывающая на ваш sitemap.xml. Генератор создает из них действительный файл и позволяет добавлять собственные правила.
Что такое краулинговый бюджет?
Это количество страниц, которые поисковая система просканирует на вашем сайте за определенный период. Чистая карта сайта и файл robots.txt помогут потратить этот бюджет на важные страницы.
