بررسی کننده دید هوش مصنوعی

این ابزاری است که تست می‌کند آیا دستیاران هوش مصنوعی مانند ChatGPT، Claude، Perplexity و Gemini گوگل می‌توانند واقعاً به وب‌سایت شما دسترسی داشته باشند یا خیر. این برنامه robots.txt زنده شما را می‌خواند، هر عامل کاربر هوش مصنوعی را بررسی می‌کند، به دنبال llms.txt و نقشه سایت می‌گردد، و با اصلاح‌های خاص امتیاز دید 0 تا 100 را به شما می‌دهد.

URL خود را بچسبانید و روی Check کلیک کنید. این ابزار خزنده‌های دقیقی را که موتورها استفاده می‌کنند، ChatGPT-User و OAI-SearchBot برای ChatGPT، PerplexityBot برای Perplexity، ClaudeBot و Claude-User برای Claude، Google-Extended برای Gemini، در برابر قوانین robots.txt شما ارزیابی می‌کند و برای هر کدام مجاز یا مسدود شده را نشان می‌دهد.

13 در مجموع، در سه گروه. موتورهای جستجو: Googlebot، Bingbot. خزنده‌های آموزشی هوش مصنوعی: GPTBot، ClaudeBot، Google-Extended، CCBot، Bytespider، Applebot-Extended، عامل خارجی متا. موتورهای پاسخگویی هوش مصنوعی: ChatGPT-User، OAI-SearchBot، Claude-User، PerplexityBot.

این یک مجموعه شفاف و قطعی است: دسترسی خزنده تا 80 امتیاز ارزش دارد (سهم 13 عاملی که robots.txt شما اجازه می دهد) و یک llms.txt منتشر شده 20 امتیاز دارد، با جریمه کوچکی اگر صفحه اصلی شما دارای دستورالعمل noindex باشد. یک سایت همیشه یک امتیاز را ایجاد می کند، هیچ چیز تصادفی نیست.

دلایل معمول عبارتند از یک قانون robots.txt (یک "عدم اجازه: /" در زیر "کاربر-عامل: *" یا یک ربات با نام AI)، یک noindex باقیمانده در تگ متا روبات یا هدر X-Robots-Tag یا یک قانون فایروال/CDN. این جستجوگر مشخص می‌کند که کدام یک از اینها هر خزنده را مسدود می‌کند تا بتوانید خزنده درست را تعمیر کنید.

به خزنده‌های هوش مصنوعی مورد نظر خود در robots.txt اجازه دهید (ابزار یک قطعه آماده برای چسباندن به شما می‌دهد)، هر گونه noindex تصادفی را حذف کنید، یک sitemap.xml منتشر کنید و یک llms.txt که سایت شما را خلاصه می‌کند اضافه کنید. شما می توانید یک llms.txt معتبر درست در داخل این ابزار ایجاد کنید و سپس دوباره بررسی کنید تا امتیاز خود را بهبود ببخشید.

llms.txt یک فایل Markdown در ریشه دامنه شما است که به موتورهای پاسخگوی هوش مصنوعی خلاصه ای تمیز از سایت شما می دهد. بله، جستجوگر برای llms.txt و llms-full.txt کاوش می کند و اگر یکی ندارید، می تواند یک llms.txt معتبر از نقشه سایت شما ایجاد کند تا بتوانید فوراً آن را منتشر کنید.

این یک انتخاب استراتژیک است. اجازه دادن به موتور پاسخ‌گوی هوش مصنوعی و خزنده‌های آموزشی به این معنی است که محتوای شما می‌تواند در ChatGPT، Perplexity، Gemini و AI Overviews ظاهر و استناد شود، که به طور فزاینده‌ای محل کشف است. برخی از سایت‌ها ترجیح می‌دهند خزنده‌های آموزشی را مسدود کنند در حالی که به موتورهای پاسخ‌دهی اجازه می‌دهند. این ابزار هر دو را نشان می دهد تا بتوانید عمدا تصمیم بگیرید.

خیر. این دسترسی خزنده و سیگنال‌های آمادگی هوش مصنوعی را از روبات‌های زنده، llms.txt و سرصفحه‌های صفحه شما اندازه‌گیری می‌کند، همه چیز واقعی و قابل تکرار است. اینکه آیا یک هوش مصنوعی واقعاً نام تجاری شما را ذکر می‌کند به محتوای شما نیز بستگی دارد، اما سایتی که دستیاران نمی‌توانند آن را بخزند، هرگز نمی‌توان ذکر کرد، که این شکافی است که این ابزار ابتدا از بین می‌برد.

بله. این برنامه کاملا رایگان و بدون ثبت نام است و فقط فایل های عمومی سایت شما (robots.txt، llms.txt، نقشه سایت) و صفحه اصلی را می خواند، همان چیزهایی که هر خزنده می بیند. چیزی که وارد می کنید ذخیره نمی شود.

آن را پس از هر تغییری در robots.txt، انتقال سایت، به‌روزرسانی CDN/دیوار آتش، یا راه‌اندازی محتوای بزرگ، اجرا کنید و به صورت دوره‌ای با تکامل خزنده‌های هوش مصنوعی. عوامل کاربری جدید هوش مصنوعی به طور منظم ظاهر می شوند، بنابراین سایتی که سال گذشته کاملاً قابل مشاهده بود ممکن است امروز دارای شکاف باشد.