Generieren Sie XML-Sitemaps und robots.txt-Dateien für Ihre Website. Erstellen Sie Crawling-Regeln, blockieren Sie bestimmte AI/LLM-Bots, während Suchmaschinen weiterhin zugelassen bleiben, kombinieren Sie Sitemaps in einem Index, prüfen Sie eine Live-Sitemap und exportieren Sie Dateien sofort für die Google Search Console.
Ein Drei-in-Eins-Toolkit zur Crawl-Kontrolle: Erstellen Sie eine gültige XML-Sitemap (oder einen Sitemap-Index) aus einer URL-Liste, erstellen Sie eine passende robots.txt-Datei mit Zulassen/Nicht-Zulassen-Regeln und KI-Blockierung pro Bot und prüfen Sie jede Live-Sitemap – alles in Ihrem Browser, kostenlos und ohne Anmeldung. Voreinstellungen für WordPress, Shopify und statische Websites sowie integrierte Validierungswarnungen sorgen dafür, dass Ihre Crawling-Anweisungen konsistent und bereit für die Search Console sind.
Diese Engine erstellt eine gültige XML-Sitemap und eine passende robots.txt-Datei, damit Suchmaschinen Ihre Seiten effizient erkennen und crawlen können. Korrekte Crawling-Anweisungen gehören zu den am häufigsten übersehenen Ranking-Grundlagen. Ein einziger falsch platzierter Disallow kann einen ganzen Abschnitt Ihrer Website vor Google verbergen. Der Sitemap-Builder fügt automatisch Änderungshäufigkeit, Priorität und den heutigen Lastmod hinzu und kann die Priorität sogar nach URL-Tiefe gewichten, sodass Ihre Homepage und die oberen Abschnitte tiefere Seiten übertreffen.
Merkmale
XML-Sitemap-Generator mit Änderungshäufigkeit, Priorität und automatischem Lastmod
Sitemap-Indexmodus für große Websites (über die 50.000-URL-Grenze hinaus)
Robots.txt-Builder mit Regeln zum Zulassen/Nichtzulassen und Crawling-Verzögerung
Voreinstellungen: alle zulassen, alle blockieren, WordPress, Shopify, statisch / Next.js, AI blockieren
KI-Blockierung pro Bot, kreuzen Sie GPTBot, ClaudeBot, Google-Extended und mehr an
„Suchmaschinen zugelassen lassen“, um Google und Bing zuzulassen und den Rest zu blockieren
Live-Validierungswarnungen für häufige Crawling-Fehler
Live-Sitemap-Audit mit Sitemap-Index-Unterstützung
Search Console-fähige sitemap.xml- und robots.txt-Exporte
So verwenden Sie Sitemap- und Robots.txt-Generator
1
Erstellen Sie Ihre robots.txt
Beginnen Sie mit einer Voreinstellung (WordPress, Shopify, statisch) oder legen Sie Ihre eigenen Zulassungs-/Nichtzulassungspfade fest, kreuzen Sie dann die zu blockierenden KI-Bots an und lassen Sie Suchmaschinen optional zulassen.
2
Generieren Sie Ihre Sitemap
Fügen Sie Ihre Seiten-URLs ein, um eine sitemap.xml mit Changefreq, Priority und Lastmod zu erstellen, oder wechseln Sie in den Indexmodus, um mehrere untergeordnete Sitemaps zu kombinieren.
3
Überprüfen Sie die Warnungen
Sehen Sie sich vor dem Versand die integrierten Validierungshinweise an, um eine Deindizierungsverweigerung, eine ignorierte Crawling-Verzögerung oder eine fehlende Sitemap-Zeile zu erkennen.
4
Prüfen Sie es live
Fügen Sie eine Live-Sitemap-URL in die Registerkarte „Audit“ ein, um die Anzahl der Einträge und den HTTPS-Status anzuzeigen und einen Drilldown in einen Sitemap-Index durchzuführen.
5
Exportieren und übermitteln
Laden Sie robots.txt und sitemap.xml herunter, laden Sie sie in Ihr Domain-Stammverzeichnis hoch und reichen Sie die Sitemap in der Google Search Console ein.
Häufige Anwendungsfälle
Erstellen Sie eine sitemap.xml aus einer Liste von Seiten-URLs
Blockieren Sie ChatGPT, Claude und andere KI-Bots, während Google weiterhin zugelassen bleibt
Generieren Sie eine robots.txt-Datei für WordPress, Shopify oder eine Next.js-Site
Kombinieren Sie mehrere Sitemaps in einem Sitemap-Index für eine große Website
Prüfen und validieren Sie eine Live-Sitemap, bevor Sie sie an die Search Console senden
Beheben Sie „Entdeckt: nicht indiziert“, indem Sie Robots, Sitemap und Host konsistent halten
Detaillierte Anleitung
Präzise Kontrolle über KI-Crawler und Suchmaschinen
KI-Trainings- und Scraping-Bots, GPTBot, ClaudeBot, Google-Extended, PerplexityBot, Bytespider und mehr, werden einzeln aufgelistet, sodass Sie anstelle eines Alles-oder-Nichts-Schalters genau ankreuzen können, welche blockiert werden sollen. Aktivieren Sie „Suchmaschinen zugelassen lassen“, um Googlebot, Bingbot und Social Crawler explizit zuzulassen, auch wenn Sie „Alles außer der Suche blockieren“ für alle anderen nicht zulassen. Ein-Klick-Voreinstellungen decken WordPress-, Shopify- und static/Next.js-Projekte ab.
Erstellen Sie einen Sitemap-Index und vermeiden Sie die 50.000-URL-Wall
Eine einzelne Sitemap-Datei kann höchstens 50.000 URLs enthalten, daher teilen große Websites ihre Seiten auf mehrere Dateien auf und verknüpfen sie mit einem Sitemap-Index. Schalten Sie den Builder in den Indexmodus, um diesen „<sitemapindex>“ aus Ihren untergeordneten Sitemap-URLs zu generieren, und das Tool warnt Sie, sobald eine URL-Liste den Grenzwert überschreitet.
Vermeiden Sie Crawling-Fehler, die die Indizierung blockieren
Zu den häufigsten Fehlern gehören die Deklaration des falschen kanonischen Hosts, das Blockieren von Assets, die von Seiten gerendert werden müssen, oder das Auflisten von URLs in der Sitemap, die an eine andere Stelle weiterleiten. Live-Validierungswarnungen weisen auf eine vollständige Nichtzulassung der Website, eine Crawling-Verzögerung, die der Googlebot ignoriert, eine fehlende Sitemap-Zeile oder nicht absolute Sitemap-URLs hin – genau die Fehler, die Probleme mit „Entdeckt, nicht indiziert“ und „Seite mit Weiterleitung“ verursachen. Die Registerkarte „Live-Audit“ analysiert dann jede Sitemap oder jeden Sitemap-Index, damit Sie das Endergebnis bestätigen können.
Häufig gestellte Fragen
Wie erstelle ich kostenlos eine sitemap.xml für meine Website?
Geben Sie die URLs Ihrer Website ein (eine pro Zeile) oder geben Sie Ihre Domain an. Das Tool generiert eine ordnungsgemäß formatierte XML-Sitemap-Datei, die Sie herunterladen und auf Ihren Server unter yourdomain.com/sitemap.xml hochladen können.
Was ist eine XML-Sitemap und warum brauche ich eine?
Eine XML-Sitemap ist eine Datei, die alle wichtigen Seiten Ihrer Website auflistet und Suchmaschinen dabei hilft, sie schneller zu finden und zu indizieren. Websites mit Sitemaps, die an die Google Search Console übermittelt werden, werden in der Regel gründlicher gecrawlt.
Wie übermittle ich meine Sitemap an Google?
Nachdem Sie Ihre Sitemap erstellt haben, laden Sie sie in Ihre Root-Domain (yourdomain.com/sitemap.xml) hoch. Gehen Sie dann zu Google Search Console → Sitemaps → Geben Sie Ihre Sitemap-URL ein → Senden.
Was soll ich in meine robots.txt-Datei einfügen?
Blockieren Sie Seiten, die nicht indiziert werden sollen: Admin-Panels (/admin/), Anmeldeseiten, API-Endpunkte (/api/), doppelte Inhalte und Suchergebnisseiten. Immer zulassen: /, /sitemap.xml und alle öffentlichen Inhaltsseiten.
Wie oft sollte ich meine Sitemap aktualisieren?
Aktualisieren Sie Ihre Sitemap, wann immer Sie Seiten hinzufügen oder entfernen. Legen Sie für aktive Blogs oder E-Commerce-Sites Lastmod-Daten fest und generieren Sie sie monatlich neu. Viele CMS-Plattformen (WordPress, Shopify) erledigen dies automatisch.
Was ist das Crawling-Budget und wie kann eine Sitemap es verbessern?
Das Crawling-Budget ist die Anzahl der Seiten, die der Googlebot innerhalb eines bestimmten Zeitraums auf Ihrer Website crawlt. Das Einreichen einer sauberen, genauen Sitemap signalisiert, welche Seiten am wichtigsten sind, und hilft Google dabei, das Crawlen Ihrer besten Inhalte zu priorisieren, anstatt Ressourcen für minderwertige oder doppelte Seiten zu verschwenden.
Wie blockiere ich ChatGPT, Claude und andere KI-Bots, behalte aber Google?
Aktivieren Sie „KI-/LLM-Trainingsbots blockieren“ und kreuzen Sie genau an, welche Crawler blockiert werden sollen: GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, Bytespider und mehr. Da diese Regeln auf benannte Benutzeragenten abzielen, bleiben Googlebot und Bingbot unter Ihrem Hauptblock „Benutzeragent: *“ zulässig. Sie können auch „Suchmaschinen zugelassen lassen“ aktivieren, um sie explizit zuzulassen, auch zusammen mit einem vollständigen Disallow: /.
Meine Website hat mehr als 50.000 URLs. Was kann ich tun?
Eine einzelne Sitemap-Datei ist auf 50.000 URLs (und 50 MB unkomprimiert) begrenzt. Teilen Sie Ihre Seiten auf mehrere Sitemap-Dateien auf und verwenden Sie dann den Sitemap-Indexmodus, um einen Sitemap-Index zu generieren, der jede untergeordnete Sitemap auflistet. Senden Sie nur den Index an die Google Search Console und der Rest wird abgerufen.
Wie erstelle ich eine sitemap.xml und eine robots.txt für meine Website?
Geben Sie Ihre URLs (oder Site-Details) ein, um eine gültige sitemap.xml zu generieren, und konfigurieren Sie Zulassungs-/Nichtzulassungsregeln, um eine robots.txt-Datei zu erstellen, die auf Ihre Sitemap verweist. Kopieren Sie beide Dateien in das Stammverzeichnis Ihrer Site.
Wie erlaube oder blockiere ich KI-Crawler in robots.txt?
Fügen Sie User-Agent-Regeln für Bots wie GPTBot, ClaudeBot, PerplexityBot und Google-Extended hinzu und lassen Sie sie dann je nach Wunsch zu oder verbieten Sie sie. Der Generator kann diese AI-Crawler-Anweisungen neben Standardregeln enthalten.
Was sollte eine robots.txt-Datei enthalten?
Mindestens eine User-Agent-Zeile, etwaige Verbots-/Zulassungsregeln und eine Sitemap-Referenz, die auf Ihre sitemap.xml verweist. Der Generator erstellt daraus eine gültige Datei und ermöglicht das Hinzufügen benutzerdefinierter Regeln.
Was ist ein Crawl-Budget?
Dabei handelt es sich um die Anzahl der Seiten, die eine Suchmaschine in einem bestimmten Zeitraum auf Ihrer Website crawlt. Eine saubere Sitemap und robots.txt helfen dabei, das Budget für Ihre wichtigen Seiten auszugeben.
