साइटमैप और रोबोट्स.txt जेनरेटर

अपनी वेबसाइट के यूआरएल (प्रति पंक्ति एक) दर्ज करें या अपना डोमेन प्रदान करें। टूल एक उचित रूप से स्वरूपित XML साइटमैप फ़ाइल उत्पन्न करता है जिसे आप yourdomain.com/sitemap.xml पर अपने सर्वर पर डाउनलोड और अपलोड कर सकते हैं।

XML साइटमैप एक फ़ाइल है जो आपकी वेबसाइट के सभी महत्वपूर्ण पृष्ठों को सूचीबद्ध करती है, जिससे खोज इंजनों को उन्हें तेज़ी से ढूंढने और अनुक्रमित करने में मदद मिलती है। Google खोज कंसोल पर सबमिट किए गए साइटमैप वाली वेबसाइटें आमतौर पर अधिक अच्छी तरह से क्रॉल की जाती हैं।

अपना साइटमैप जनरेट करने के बाद, इसे अपने रूट डोमेन (yourdomain.com/sitemap.xml) पर अपलोड करें। फिर Google सर्च कंसोल → साइटमैप → अपना साइटमैप यूआरएल दर्ज करें → सबमिट करें पर जाएं।

उन पृष्ठों को ब्लॉक करें जिन्हें आप अनुक्रमित नहीं करना चाहते हैं: व्यवस्थापक पैनल (/ व्यवस्थापक /), लॉगिन पृष्ठ, एपीआई एंडपॉइंट (/ एपीआई /), डुप्लिकेट सामग्री और खोज परिणाम पृष्ठ। हमेशा अनुमति दें: /, /sitemap.xml, और सभी सार्वजनिक सामग्री पृष्ठ।

जब भी आप पेज जोड़ें या हटाएँ तो अपना साइटमैप अपडेट करें। सक्रिय ब्लॉग या ईकॉमर्स साइटों के लिए, अंतिम तारीखें निर्धारित करें और मासिक रूप से पुन: उत्पन्न करें। कई सीएमएस प्लेटफ़ॉर्म (वर्डप्रेस, शॉपिफाई) स्वचालित रूप से ऐसा करते हैं।

क्रॉल बजट उन पृष्ठों की संख्या है जिन्हें Googlebot एक निश्चित समय सीमा के भीतर आपकी साइट पर क्रॉल करेगा। एक साफ, सटीक साइटमैप सबमिट करने से संकेत मिलता है कि कौन से पेज सबसे महत्वपूर्ण हैं, जिससे Google को कम-मूल्य या डुप्लिकेट पेजों पर संसाधनों को बर्बाद करने के बजाय आपकी सर्वोत्तम सामग्री को क्रॉल करने में प्राथमिकता देने में मदद मिलती है।

'ब्लॉक एआई/एलएलएम प्रशिक्षण बॉट' चालू करें और सटीक रूप से टिक करें कि किस क्रॉलर को ब्लॉक करना है, जीपीटीबॉट, चैटजीपीटी-यूजर, क्लाउडबॉट, गूगल-एक्सटेंडेड, पर्प्लेक्सिटीबॉट, बाइटस्पाइडर और बहुत कुछ। क्योंकि वे नियम नामित उपयोगकर्ता-एजेंटों को लक्षित करते हैं, Googlebot और Bingbot को आपके मुख्य 'उपयोगकर्ता-एजेंट: *' ब्लॉक के अंतर्गत अनुमति दी जाती है। आप पूर्ण अस्वीकरण के साथ भी, उन्हें स्पष्ट रूप से अनुमति देने के लिए 'खोज इंजनों को अनुमति रखें' पर भी स्विच कर सकते हैं: /।

एक एकल साइटमैप फ़ाइल 50,000 URL (और 50MB असम्पीडित) तक सीमित है। अपने पृष्ठों को कई साइटमैप फ़ाइलों में विभाजित करें, फिर एक साइटमैपइंडेक्स उत्पन्न करने के लिए साइटमैप इंडेक्स मोड का उपयोग करें जो प्रत्येक चाइल्ड साइटमैप को सूचीबद्ध करता है। Google खोज कंसोल पर केवल अनुक्रमणिका सबमिट करें और यह बाकी को ले आएगा।

एक वैध साइटमैप.xml उत्पन्न करने के लिए अपने यूआरएल (या साइट विवरण) दर्ज करें, और आपके साइटमैप को संदर्भित करने वाले robots.txt का उत्पादन करने के लिए अनुमति/अस्वीकार नियमों को कॉन्फ़िगर करें। दोनों फ़ाइलों को अपनी साइट रूट पर कॉपी करें।

GPTBot, ClaudeBot, PerplexityBot और Google-एक्सटेंडेड जैसे बॉट्स के लिए उपयोगकर्ता-एजेंट नियम जोड़ें, फिर अपनी पसंद के अनुसार अनुमति दें या अस्वीकार करें। जनरेटर मानक नियमों के साथ इन एआई-क्रॉलर निर्देशों को शामिल कर सकता है।

कम से कम, एक उपयोगकर्ता-एजेंट लाइन, कोई भी अस्वीकृत/अनुमति नियम, और आपके साइटमैप.एक्सएमएल की ओर इशारा करने वाला एक साइटमैप संदर्भ। जनरेटर इनके साथ एक वैध फ़ाइल बनाता है और आपको कस्टम नियम जोड़ने देता है।

यह है कि एक खोज इंजन एक निश्चित अवधि में आपकी साइट पर कितने पेज क्रॉल करेगा। एक साफ़ साइटमैप और robots.txt उस बजट को आपके महत्वपूर्ण पृष्ठों पर खर्च करने में मदद करते हैं।