Yapay Zeka Görünürlük Denetleyicisi

ChatGPT, Claude, Perplexity ve Google Gemini gibi yapay zeka asistanlarının web sitenize gerçekten erişip erişemediğini ve tarayıp tarayamadığını test eden bir araçtır. Canlı robots.txt dosyanızı okur, her bir AI kullanıcı aracısını kontrol eder, bir llms.txt ve site haritası arar ve belirli düzeltmelerle birlikte size 0-100 arası bir görünürlük puanı verir.

URL'nizi yapıştırın ve Kontrol Et'i tıklayın. Araç, bu motorların kullandığı tarayıcıları (ChatGPT için ChatGPT-User ve OAI-SearchBot, Perplexity için PerplexityBot, Claude için ClaudeBot ve Claude-User, Gemini için Google-Extulated) robots.txt kurallarınıza göre değerlendirir ve her biri için İzin Verildi veya Engellendi seçeneğini gösterir.

Toplamda 13, üç grupta. Arama Motorları: Googlebot, Bingbot. Yapay Zeka Eğitim Tarayıcıları: GPTBot, ClaudeBot, Google-Extulated, CCBot, Bytespider, Applebot-Extulated, meta-externalagent. Yapay Zeka Yanıt Motorları: ChatGPT-Kullanıcı, OAI-SearchBot, Claude-Kullanıcı, PerplexityBot.

Bu şeffaf, deterministik bir toplamadır: tarayıcı erişimi 80 puana kadar değerdedir (robots.txt dosyanızın izin verdiği 13 aracının payı) ve yayınlanan bir llms.txt dosyası 20 puan değerindedir; ana sayfanız bir noindex yönergesi taşıyorsa küçük bir ceza söz konusudur. Aynı site her zaman aynı puanı üretir, hiçbir şey rastgele değildir.

Genel nedenler bir robots.txt kuralıdır ('User-agent: *' altında bir 'Disallow: /' veya adlandırılmış bir AI bot), meta robots etiketinizde veya X-Robots-Tag başlığınızda kalan bir noindex veya bir güvenlik duvarı/CDN kuralıdır. Bu denetleyici, bunlardan hangisinin her bir tarayıcıyı engellediğini belirler, böylece doğru olanı düzeltebilirsiniz.

Robots.txt dosyasında istediğiniz AI tarayıcılarına izin verin (araç size yapıştırmaya hazır bir snippet sunar), yanlışlıkla oluşan noindex'leri kaldırın, bir sitemap.xml yayınlayın ve sitenizi özetleyen bir llms.txt ekleyin. Bu aracın içinden geçerli bir llms.txt dosyası oluşturabilir ve ardından puanınızın arttığını doğrulamak için yeniden kontrol edebilirsiniz.

llms.txt, alan adı kökünüzde bulunan ve AI yanıt motorlarına sitenizin net bir özetini veren bir Markdown dosyasıdır. Evet, denetleyici llms.txt ve llms-full.txt'yi araştırır ve eğer bir tane yoksa site haritanızdan geçerli bir llms.txt oluşturabilir, böylece onu hemen yayınlayabilirsiniz.

Bu stratejik bir seçim. Yapay zeka yanıt motoruna izin vermek ve tarayıcıları eğitmek, içeriğinizin ChatGPT, Perplexity, Gemini ve Yapay Zeka Genel Bakışlarında ortaya çıkarılabileceği ve alıntılanabileceği anlamına gelir; bu da keşfin giderek daha fazla gerçekleştiği yerdir. Bazı siteler yanıt motorlarına izin verirken tarayıcıların eğitimini engellemeyi tercih eder. Bu araç her ikisini de gösterir, böylece bilinçli olarak karar verebilirsiniz.

Hayır. Kendi canlı robots.txt, llms.txt ve sayfa başlıklarınızdan tarayıcı erişimini ve yapay zekaya hazırlık sinyallerini ölçer; her şey gerçektir ve tekrarlanabilir. Bir yapay zekanın markanızdan gerçekten bahsedip bahsetmediği de içeriğinize bağlıdır, ancak asistanların tarayamadığı bir siteden asla alıntı yapılamaz, bu da bu aracın ilk önce kapattığı boşluktur.

Evet. Hiçbir kayıt olmadan tamamen ücretsizdir ve yalnızca sitenizin genel dosyalarını (robots.txt, llms.txt, site haritası) ve ana sayfasını okur, yani herhangi bir tarayıcının gördüğü şeylerle aynıdır. Girdiğiniz hiçbir şey saklanmaz.

robots.txt dosyasında herhangi bir değişiklik, site geçişi, CDN/güvenlik duvarı güncellemesi veya büyük bir içerik lansmanı sonrasında ve AI tarayıcıları geliştikçe periyodik olarak çalıştırın. Yeni AI kullanıcı aracıları düzenli olarak ortaya çıkıyor, bu nedenle geçen yıl tamamen görünür olan bir sitede bugün boşluklar olabilir.