خريطة الموقع ومولد Robots.txt

أدخل عناوين URL لموقع الويب الخاص بك (واحد في كل سطر) أو قم بتوفير المجال الخاص بك. تقوم الأداة بإنشاء ملف خريطة موقع XML منسق بشكل صحيح يمكنك تنزيله وتحميله إلى الخادم الخاص بك على yourdomain.com/sitemap.xml.

خريطة موقع XML هي ملف يسرد جميع الصفحات المهمة لموقعك على الويب، مما يساعد محركات البحث في العثور عليها وفهرستها بشكل أسرع. عادةً ما يتم الزحف إلى مواقع الويب التي تحتوي على خرائط موقع تم إرسالها إلى Google Search Console بشكل أكثر شمولاً.

بعد إنشاء خريطة الموقع الخاصة بك، قم بتحميلها إلى النطاق الجذر الخاص بك (yourdomain.com/sitemap.xml). ثم انتقل إلى Google Search Console → خرائط الموقع → أدخل عنوان URL لخريطة الموقع → إرسال.

حظر الصفحات التي لا تريد فهرستها: لوحات الإدارة (/admin/)، وصفحات تسجيل الدخول، ونقاط نهاية واجهة برمجة التطبيقات (/api/)، والمحتوى المكرر، وصفحات نتائج البحث. السماح دائمًا بـ: / و/sitemap.xml وجميع صفحات المحتوى العامة.

قم بتحديث خريطة الموقع الخاصة بك كلما قمت بإضافة صفحات أو إزالتها. بالنسبة للمدونات النشطة أو مواقع التجارة الإلكترونية، قم بتعيين تواريخ Lastmod وأعد الإنشاء شهريًا. تقوم العديد من منصات CMS (WordPress وShopify) بذلك تلقائيًا.

ميزانية الزحف هي عدد الصفحات التي سيزحف إليها Googlebot على موقعك خلال إطار زمني محدد. يشير إرسال خريطة موقع نظيفة ودقيقة إلى الصفحات الأكثر أهمية، مما يساعد Google على تحديد أولويات الزحف إلى أفضل محتوى لديك بدلاً من إهدار الموارد على صفحات منخفضة القيمة أو مكررة.

قم بتشغيل "حظر روبوتات تدريب AI / LLM" وحدد بالضبط برامج الزحف التي سيتم حظرها، مثل GPTBot وChatGPT-User وClaudeBot وGoogle-Extending وPerplexityBot وBytespider والمزيد. نظرًا لأن هذه القواعد تستهدف وكلاء المستخدم المحددين، يظل Googlebot وBingbot مسموحًا بهما ضمن كتلة "وكيل المستخدم: *" الرئيسية. يمكنك أيضًا تشغيل خيار "الاحتفاظ بمحركات البحث مسموحًا بها" للسماح بها بشكل صريح، حتى مع عدم السماح الكامل: /.

يبلغ الحد الأقصى لملف خريطة الموقع الواحد 50000 عنوان URL (و50 ميغابايت غير مضغوطة). قم بتقسيم صفحاتك عبر عدة ملفات Sitemap، ثم استخدم وضع فهرس Sitemap لإنشاء ملف sitemapindex الذي يسرد كل خريطة موقع فرعية. أرسل الفهرس فقط إلى Google Search Console وسيجلب الباقي.

أدخل عناوين URL الخاصة بك (أو تفاصيل الموقع) لإنشاء ملف sitemap.xml صالح، ثم قم بتكوين قواعد السماح/عدم السماح لإنتاج ملف robots.txt الذي يشير إلى خريطة الموقع الخاصة بك. انسخ كلا الملفين إلى جذر موقعك.

قم بإضافة قواعد وكيل المستخدم لبرامج الروبوت مثل GPTBot، وClaudeBot، وPerplexityBot، وGoogle-Extened، ثم السماح أو عدم السماح كما تفضل. يمكن أن يتضمن المولد توجيهات زاحف الذكاء الاصطناعي جنبًا إلى جنب مع القواعد القياسية.

على الأقل، سطر وكيل المستخدم، وأي قواعد عدم السماح/السماح، ومرجع ملف Sitemap يشير إلى ملف sitemap.xml الخاص بك. ينشئ المولد ملفًا صالحًا بهذه العناصر ويتيح لك إضافة قواعد مخصصة.

إنه عدد الصفحات التي سيزحف إليها محرك البحث على موقعك في فترة معينة. تساعد خريطة الموقع النظيفة وملف robots.txt في إنفاق تلك الميزانية على صفحاتك المهمة.