تولیدکننده نقشه سایت و Robots.txt

آدرس های وب سایت خود را وارد کنید (یکی در هر خط) یا دامنه خود را ارائه دهید. این ابزار یک فایل نقشه سایت XML با فرمت مناسب ایجاد می کند که می توانید آن را دانلود و در سرور خود در yourdomain.com/sitemap.xml آپلود کنید.

نقشه سایت XML فایلی است که تمام صفحات مهم وب سایت شما را فهرست می کند و به موتورهای جستجو کمک می کند آنها را سریعتر پیدا کرده و فهرست بندی کنند. وب‌سایت‌هایی که نقشه‌های سایت ارسال شده به کنسول جستجوی Google دارند، معمولاً با دقت بیشتری خزیده می‌شوند.

پس از ایجاد نقشه سایت، آن را در دامنه اصلی خود (yourdomain.com/sitemap.xml) آپلود کنید. سپس به Google Search Console → Sitemaps → URL نقشه سایت خود را وارد کنید → Submit.

صفحاتی را که نمی خواهید ایندکس شوند مسدود کنید: پنل های مدیریت (/admin/)، صفحات ورود به سیستم، نقاط پایانی API (/api/)، محتوای تکراری، و صفحات نتیجه جستجو. همیشه به: /، /sitemap.xml و تمام صفحات محتوای عمومی اجازه دهید.

هر زمان که صفحاتی را اضافه یا حذف می کنید، نقشه سایت خود را به روز کنید. برای وبلاگ‌های فعال یا سایت‌های تجارت الکترونیک، تاریخ آخرین حالت را تنظیم کنید و ماهانه آن را بازسازی کنید. بسیاری از سیستم عامل های CMS (وردپرس، شاپیفای) این کار را به صورت خودکار انجام می دهند.

بودجه خزیدن تعداد صفحاتی است که Googlebot در یک بازه زمانی معین در سایت شما می خزد. ارسال یک نقشه سایت تمیز و دقیق نشان می دهد که کدام صفحات از همه مهمتر هستند، به Google کمک می کند تا به جای هدر دادن منابع در صفحات کم ارزش یا تکراری، بهترین محتوای شما را در اولویت قرار دهد.

«بلاک کردن ربات‌های آموزشی AI/LLM» را روشن کنید و دقیقاً علامت بزنید که کدام خزنده‌ها را مسدود کنید، GPTBot، ChatGPT-User، ClaudeBot، Google-Extended، PerplexityBot، Bytespider و موارد دیگر. از آنجایی که این قوانین، عوامل کاربر نام‌گذاری شده را هدف قرار می‌دهند، Googlebot و Bingbot تحت بلوک اصلی «کاربر-عامل: *» شما مجاز می‌مانند. همچنین می‌توانید «مجاز نگه داشتن موتورهای جستجو» را روشن کنید تا به طور صریح به آن‌ها اجازه دهید، حتی در کنار یک Disallow کامل: /.

یک فایل نقشه سایت دارای 50000 URL (و 50 مگابایت فشرده نشده) است. صفحات خود را در چندین فایل نقشه سایت تقسیم کنید، سپس از حالت فهرست نقشه سایت برای ایجاد یک فهرست نقشه سایت که هر نقشه سایت فرزند را فهرست می کند، استفاده کنید. فقط فهرست را به کنسول جستجوی گوگل ارسال کنید و بقیه موارد را دریافت خواهد کرد.

URL ها (یا جزئیات سایت) خود را وارد کنید تا یک sitemap.xml معتبر ایجاد کنید، و قوانین مجاز/عدم اجازه را برای تولید robots.txt که به نقشه سایت شما ارجاع می دهد، پیکربندی کنید. هر دو فایل را در روت سایت خود کپی کنید.

قوانین عامل کاربر را برای ربات هایی مانند GPTBot، ClaudeBot، PerplexityBot و Google-Extended اضافه کنید، سپس به دلخواه Allow یا Disallow را انتخاب کنید. مولد می‌تواند این دستورالعمل‌های خزنده هوش مصنوعی را در کنار قوانین استاندارد شامل شود.

حداقل، یک خط User-agent، هر قانون Disallow/Allow، و یک مرجع نقشه سایت که به sitemap.xml شما اشاره می کند. مولد یک فایل معتبر با اینها می سازد و به شما امکان می دهد قوانین سفارشی را اضافه کنید.

تعداد صفحاتی است که یک موتور جستجو در یک دوره معین در سایت شما می خزد. نقشه سایت تمیز و robots.txt به آن کمک می کند تا این بودجه را در صفحات مهم شما صرف کند.