Site Haritası ve Robots.txt Oluşturucu

Web siteniz için XML site haritaları ve robots.txt dosyaları oluşturun. Arama motorlarına izin verirken tarama kuralları oluşturun, belirli AI/LLM botlarını engelleyin, site haritalarını bir dizinde birleştirin, canlı bir site haritasını denetleyin ve dosyaları anında Google Arama Konsolu için hazır olarak dışa aktarın.

Shehzad Munir tarafından oluşturulmuş ve bakımı yapılmıştır ·

İnternete ihtiyacı var: the sitemap is fetched on our server. İstekten sonra hiçbir şey saklanmaz.

Site Haritası ve Robots.txt Oluşturucu
Loading Sitemap & Robots Engine
  • SEO Araçları
  • Özgür · Kayıt yok
  • İnterneti kullanır
  • 9'nin özellikleri
Share

Temiz site haritaları ve robots.txt oluşturun

Üçü bir arada tarama kontrolü araç seti: Bir URL listesinden geçerli bir XML site haritası (veya bir site haritası dizini) oluşturun, izin verme/izin vermeme kuralları ve bot başına yapay zeka engellemeyle eşleşen bir robots.txt dosyası oluşturun ve tüm canlı site haritalarını denetleyin; üstelik tümü tarayıcınızda, ücretsiz ve kaydolmadan. WordPress, Shopify ve statik siteler için hazır ayarların yanı sıra yerleşik doğrulama uyarıları, tarama yönergelerinizi tutarlı ve Search Console'a hazır tutar.

Bu motor, geçerli bir XML site haritası ve eşleşen bir robots.txt dosyası oluşturarak arama motorlarının sayfalarınızı verimli bir şekilde keşfedip tarayabilmesini sağlar. Doğru tarama yönergeleri, en çok gözden kaçan sıralama temellerinden biridir; yanlış yerleştirilmiş tek bir İzin Vermeme, sitenizin tüm bir bölümünü Google'dan gizleyebilir. Site haritası oluşturucu, değişiklik sıklığını, önceliğini ve bugünün son modunu otomatik olarak ekler ve hatta önceliği URL derinliğine göre ağırlıklandırabilir, böylece ana sayfanız ve üst bölümleriniz derin sayfalardan daha üst sıralarda yer alır.

Özellikler

  • Değişiklik frekansı, öncelik ve otomatik son mod içeren XML site haritası oluşturucu
  • Büyük siteler için site haritası dizin modu (50.000 URL sınırını aşan)
  • İzin verme/izin vermeme kuralları ve tarama gecikmesi içeren Robots.txt oluşturucu
  • Ön ayarlar: hepsine izin ver, hepsini engelle, WordPress, Shopify, statik / Next.js, AI'yı engelle
  • Bot başına AI engelleme, GPTBot, ClaudeBot, Google-Extulated ve daha fazlasını işaretleyin
  • Gerisini engellerken Google ve Bing'e izin vermek için 'Arama motorlarına izin ver' seçeneği
  • Yaygın tarama hataları için canlı doğrulama uyarıları
  • Site haritası dizini desteğiyle canlı site haritası denetimi
  • Search Console'a hazır sitemap.xml ve robots.txt dışa aktarmaları

Site Haritası ve Robots.txt Oluşturucu nasıl kullanılır?

  1. 1

    robots.txt dosyanızı oluşturun

    Bir ön ayardan (WordPress, Shopify, statik) başlayın veya kendi izin verme/izin vermeme yollarınızı ayarlayın, ardından arama motorlarını engellemek ve isteğe bağlı olarak izin verilen durumda tutmak için AI botlarını işaretleyin.

  2. 2

    Site haritanızı oluşturun

    Changefreq, Priority ve Lastmod içeren bir sitemap.xml oluşturmak için sayfa URL'lerinizi yapıştırın veya birkaç alt site haritasını birleştirmek için indeks moduna geçin.

  3. 3

    Uyarıları kontrol edin

    Göndermeden önce, indeksleme dışı bırakılan bir İzin Vermeme durumunu, göz ardı edilen bir tarama gecikmesini veya eksik bir site haritası satırını yakalamak için yerleşik doğrulama notlarını inceleyin.

  4. 4

    Canlı olarak denetleyin

    Giriş sayılarını, HTTPS durumunu görmek ve site haritası dizinini ayrıntılı olarak incelemek için Denetim sekmesine canlı bir site haritası URL'si yapıştırın.

  5. 5

    Dışa aktar ve gönder

    Robots.txt ve sitemap.xml'yi indirin, bunları alan adı kökünüze yükleyin ve site haritasını Google Search Console'a gönderin.

Yaygın kullanım durumları

  • Sayfa URL'leri listesinden bir sitemap.xml oluşturun
  • Google'a izin verirken ChatGPT, Claude ve diğer AI botlarını engelleyin
  • WordPress, Shopify veya Next.js sitesi için bir robots.txt oluşturun
  • Büyük bir site için birden fazla site haritasını tek bir site haritası dizininde birleştirin
  • Canlı bir site haritasını Search Console'a göndermeden önce denetleyin ve doğrulayın
  • Robotları, site haritasını ve ana bilgisayarı tutarlı tutarak 'Keşfedildi: dizine eklenmedi' sorununu düzeltin

Ayrıntılı kılavuz

Yapay zeka tarayıcıları ve arama motorları üzerinde hassas kontrol

AI eğitim ve kazıma botları, GPTBot, ClaudeBot, Google-Extulated, PerplexityBot, Bytespider ve daha fazlası ayrı ayrı listelenir, böylece ya hep ya hiç anahtarı yerine tam olarak hangisini engelleyeceğinizi işaretleyebilirsiniz. İzin vermeseniz bile Googlebot, Bingbot ve sosyal tarayıcılara açıkça izin vermek için 'Arama motorlarına izin ver' seçeneğini açın: / diğer herkes için klasik 'arama dışındaki her şeyi engelle' tarifi. Tek tıklamayla hazır ayarlar WordPress, Shopify ve static/Next.js projelerini kapsar.

Bir site haritası dizini oluşturun ve 50.000 URL'lik duvardan kaçının

Tek bir site haritası dosyası en fazla 50.000 URL içerebilir; bu nedenle büyük siteler, sayfalarını birkaç dosyaya böler ve bunları bir site haritası dizini ile birbirine bağlar. Alt site haritası URL'lerinizden "<sitemapindex>" oluşturmak için oluşturucuyu dizin moduna geçirin; araç, bir URL listesi sınırı aştığı anda sizi uyarır.

Dizine eklemeyi engelleyen tarama hatalarından kaçının

Yaygın hatalar arasında yanlış standart ana bilgisayarın bildirilmesi, sayfaların oluşturması gereken varlıkların engellenmesi veya site haritasında başka bir yere yönlendiren URL'lerin listelenmesi yer alır. Canlı doğrulama uyarıları, tam site İzin Vermeme durumunu, Googlebot'un yok saydığı bir Tarama gecikmesini, eksik bir site haritası satırını veya mutlak olmayan site haritası URL'lerini, tam olarak 'Keşfedildi, dizine eklenmemiş' ve 'Yönlendirmeli sayfa' sorunlarına neden olan hataları işaretler. Canlı denetim sekmesi daha sonra herhangi bir site haritasını veya site haritası dizinini ayrıştırır, böylece nihai sonucu onaylayabilirsiniz.

Sık sorulan sorular

Web sitem için ücretsiz olarak nasıl sitemap.xml oluşturabilirim?

Web sitenizin URL'lerini girin (her satıra bir tane) veya alanınızı belirtin. Araç, alanadınız.com/sitemap.xml adresinden indirip sunucunuza yükleyebileceğiniz, uygun şekilde biçimlendirilmiş bir XML site haritası dosyası oluşturur.

XML site haritası nedir ve neden buna ihtiyacım var?

XML site haritası, web sitenizin tüm önemli sayfalarını listeleyen, arama motorlarının bu sayfaları daha hızlı bulmasına ve dizine eklemesine yardımcı olan bir dosyadır. Google Search Console'a gönderilen site haritalarına sahip web siteleri genellikle daha ayrıntılı bir şekilde taranır.

Site haritamı Google'a nasıl gönderirim?

Site haritanızı oluşturduktan sonra kök alan adınıza (alanadiniz.com/sitemap.xml) yükleyin. Ardından Google Arama Konsolu → Site Haritaları → Site haritanızın URL'sini girin → Gönder seçeneğine gidin.

Robots.txt dosyama ne koymalıyım?

Dizine eklenmesini istemediğiniz sayfaları engelleyin: yönetici panelleri (/admin/), oturum açma sayfaları, API uç noktaları (/api/), yinelenen içerik ve arama sonucu sayfaları. Her zaman izin ver: /, /sitemap.xml ve tüm genel içerik sayfalarına.

Site haritamı ne sıklıkla güncellemeliyim?

Sayfa eklediğinizde veya kaldırdığınızda site haritanızı güncelleyin. Aktif bloglar veya e-ticaret siteleri için son değişiklik tarihlerini ayarlayın ve aylık olarak yenileyin. Birçok CMS platformu (WordPress, Shopify) bunu otomatik olarak yapar.

Tarama bütçesi nedir ve site haritası bunu nasıl geliştirir?

Tarama bütçesi, Googlebot'un belirli bir zaman dilimi içinde sitenizde tarayacağı sayfa sayısıdır. Temiz ve doğru bir site haritası göndermek, hangi sayfaların en önemli olduğunu gösterir ve kaynakları düşük değerli veya yinelenen sayfalara harcamak yerine Google'ın en iyi içeriğinizi taramaya öncelik vermesine yardımcı olur.

ChatGPT, Claude ve diğer yapay zeka botlarını engelleyip Google'ı nasıl koruyabilirim?

'AI / LLM eğitim botlarını engelle' seçeneğini açın ve tam olarak hangi tarayıcıların, GPTBot, ChatGPT-User, ClaudeBot, Google-Extulated, PerplexityBot, Bytespider ve daha fazlasının engelleneceğini işaretleyin. Bu kurallar adlandırılmış kullanıcı aracılarını hedeflediğinden, Googlebot ve Bingbot'a ana 'Kullanıcı aracısı: *' bloğunuz altında izin verilir. Ayrıca, tam bir Disallow: / ile birlikte bile açıkça izin vermek için 'Arama motorlarına izin ver' seçeneğini de açabilirsiniz.

Sitemin 50.000'den fazla URL'si var, ne yapmalıyım?

Tek bir site haritası dosyası 50.000 URL (ve sıkıştırılmamış olarak 50 MB) ile sınırlıdır. Sayfalarınızı çeşitli site haritası dosyalarına bölün ve ardından her bir alt site haritasını listeleyen bir site haritası dizini oluşturmak için Site Haritası dizin modunu kullanın. Yalnızca dizini Google Search Console'a gönderin, gerisini o alacaktır.

Sitem için sitemap.xml ve robots.txt dosyasını nasıl oluşturabilirim?

Geçerli bir sitemap.xml oluşturmak için URL'lerinizi (veya site ayrıntılarınızı) girin ve site haritanıza referans veren bir robots.txt oluşturmak için izin verme/izin vermeme kurallarını yapılandırın. Her iki dosyayı da sitenizin kök dizinine kopyalayın.

Robots.txt dosyasında AI tarayıcılarına nasıl izin verebilirim veya engelleyebilirim?

GPTBot, ClaudeBot, PerplexityBot ve Google-Extulated gibi botlar için kullanıcı aracısı kuralları ekleyin, ardından tercihinize göre İzin Ver veya İzin Vermeyin. Oluşturucu, standart kuralların yanı sıra bu AI tarayıcı direktiflerini de içerebilir.

Bir robots.txt dosyası neleri içermelidir?

En azından bir Kullanıcı aracısı satırı, herhangi bir İzin Verme/İzin Verme kuralı ve sitemap.xml dosyanıza işaret eden bir Site Haritası referansı. Oluşturucu bunlarla geçerli bir dosya oluşturur ve özel kurallar eklemenizi sağlar.

Tarama bütçesi nedir?

Belirli bir dönemde bir arama motorunun sitenizde kaç sayfa tarayacağıdır. Temiz bir site haritası ve robots.txt, bu bütçeyi önemli sayfalarınıza harcamanıza yardımcı olur.

Günlükten

All articles →