Sitemap en Robots.txt-generator

Voer de URL's van uw website in (één per regel) of geef uw domein op. De tool genereert een correct opgemaakt XML-sitemapbestand dat u kunt downloaden en uploaden naar uw server op uwdomein.com/sitemap.xml.

Een XML-sitemap is een bestand waarin alle belangrijke pagina's van uw website worden vermeld, zodat zoekmachines deze sneller kunnen vinden en indexeren. Websites met sitemaps die zijn ingediend bij Google Search Console worden doorgaans grondiger gecrawld.

Nadat u uw sitemap heeft gegenereerd, uploadt u deze naar uw hoofddomein (uwdomein.com/sitemap.xml). Ga vervolgens naar Google Search Console → Sitemaps → Voer uw sitemap-URL in → Verzenden.

Blokkeer pagina's die u niet wilt indexeren: beheerderspanelen (/admin/), inlogpagina's, API-eindpunten (/api/), dubbele inhoud en pagina's met zoekresultaten. Sta altijd toe: /, /sitemap.xml en alle openbare inhoudspagina's.

Update uw sitemap telkens wanneer u pagina's toevoegt of verwijdert. Voor actieve blogs of e-commercesites stelt u lastmod-datums in en genereert u maandelijks opnieuw. Veel CMS-platforms (WordPress, Shopify) doen dit automatisch.

Het crawlbudget is het aantal pagina's dat Googlebot binnen een bepaald tijdsbestek op uw site zal crawlen. Het indienen van een duidelijke, nauwkeurige sitemap geeft aan welke pagina's het belangrijkst zijn, waardoor Google prioriteit kan geven aan het crawlen van uw beste inhoud in plaats van middelen te verspillen aan pagina's met een lage waarde of dubbele pagina's.

Schakel 'Block AI / LLM training bots' in en vink precies aan welke crawlers je wilt blokkeren: GPTBot, ChatGPT-User, ClaudeBot, Google-Extended, PerplexityBot, Bytespider en meer. Omdat deze regels zich richten op benoemde user-agents, blijven Googlebot en Bingbot toegestaan ​​onder uw hoofdblok 'User-agent: *'. Je kunt ook 'Houd zoekmachines toegestaan' inschakelen om ze expliciet toe te staan, zelfs naast een volledige Disallow: /.

Eén sitemapbestand heeft een maximum van 50.000 URL's (en 50 MB ongecomprimeerd). Verdeel uw pagina's over verschillende sitemapbestanden en gebruik vervolgens de sitemapindexmodus om een ​​sitemapindex te genereren waarin elke onderliggende sitemap wordt vermeld. Dien alleen de index in bij Google Search Console en de rest wordt opgehaald.

Voer uw URL's (of sitegegevens) in om een ​​geldige sitemap.xml te genereren en configureer de regels voor toestaan/niet toestaan ​​om een ​​robots.txt te produceren die naar uw sitemap verwijst. Kopieer beide bestanden naar de hoofdmap van uw site.

Voeg user-agentregels toe voor bots zoals GPTBot, ClaudeBot, PerplexityBot en Google-Extended, en vervolgens Toestaan ​​of Niet toestaan ​​zoals u wilt. De generator kan deze AI-crawler-richtlijnen naast standaardregels opnemen.

Minimaal een User-agent-regel, eventuele Disallow/Allow-regels en een sitemapverwijzing die naar uw sitemap.xml verwijst. De generator bouwt hiermee een geldig bestand en laat u aangepaste regels toevoegen.

Het geeft aan hoeveel pagina's een zoekmachine in een bepaalde periode op uw site zal crawlen. Een schone sitemap en robots.txt helpen het budget aan uw belangrijke pagina’s te besteden.