Sitemap XML وrobots.txt: الأدوار والحدود والتشخيص

ملف XML sitemap يعرّف محركات البحث بالروابط التي يعدّها الموقع مهمة، بينما يحدد robots.txt المسارات التي يمكن لبرامج الزحف الوصول إليها. الملفان متكاملان، لكنهما لا يفرضان الفهرسة: إدراج رابط في sitemap لا يعني ظهوره في النتائج، وحجبه عن الزحف لا يجعله خاصاً أو محذوفاً تلقائياً من البحث.

ما الفرق بين XML sitemap وrobots.txt؟

يسجل مخطط الموضوع للكلمتين الفرنسيتين « sitemap XML » حجم بحث 60، وصعوبة كلمات مفتاحية 86، وإمكانات زيارات 350؛ ولـ « robots.txt » حجم 10. وهذه تقديرات Ahrefs Morocco، 22 أكتوبر 2026، وليست توقعات للترتيب أو الزيارات أو العملاء المحتملين أو الإيراد.

Sitemap XML هو ملف منظم يضم الصفحات والوسائط والنسخ اللغوية التي يريد الموقع إتاحتها للاكتشاف. توضح Google أن الخريطة قد تساعد الزحف، خاصة في المواقع الكبيرة أو الجديدة أو المعقدة، لكنها إشارة لا ضمان للزحف أو الفهرسة. وتبقى الروابط الداخلية الواضحة طريقاً أساسياً لاكتشاف الصفحات وفق إرشادات Google عن خرائط المواقع.

أما robots.txt فهو ملف نصي عام في جذر النطاق، مثل https://example.ma/robots.txt. تضم قواعده User-agent وAllow وDisallow لتنظيم وصول برامج الزحف. وتصفه Google أساساً كأداة لإدارة حركة الزحف، لا كطريقة مضمونة لإخفاء صفحة HTML من نتائجها وفق Google Search Central.

القاعدة العملية هي: sitemap يعرض روابط للاكتشاف، وrobots.txt يحد الوصول إلى مسارات محددة. لا تدرج عادة رابطاً قانونياً مهماً في الخريطة ثم تمنع زحفه؛ لأن المحرك قد لا يستطيع قراءة محتوى الصفحة وإشاراتها.

اختر الأداة وفق حالة الرابط المطلوبة

لا تبدأ بنسخ ملف robots جاهز. حدد أولاً هدف كل فئة من الروابط: هل هي صفحة ينبغي اكتشافها؟ أم فلتر أو بحث داخلي محدود القيمة؟ أم صفحة عامة لا ينبغي ظهورها في البحث؟ أم مساحة تحتاج حماية وصول حقيقية؟

قد يظل رابط صفحة HTML المحجوبة معروفاً لمحرك البحث عبر روابط أخرى ويظهر كرابط فقط. كما تنص RFC 9309 على أن Robots Exclusion Protocol ليس تصريح وصول. لا تضع مساراً حساساً في ملف عام وتفترض أنه أصبح مخفياً.

أنشئ sitemap يعكس الموقع الذي تريد تقديمه

اختر الروابط قبل إنشاء الملف

تعامل مع sitemap بوصفه جرداً منتقى، لا نسخة من كل عنوان يمكن للخادم إرجاعه. افحص لكل رابط الاستجابة HTTP، ونسخة HTTPS المقصودة، والرابط القانوني canonical، وإمكانية الفهرسة، والتحويل، ودوره في رحلة القارئ. استبعد الاختبارات والتحويلات والنسخ التقنية المتكررة ونتائج البحث الداخلي ومعلمات التتبع والصفحات المستبعدة عمداً.

ينطبق ذلك على كل لغة. لا تدرج صفحة عربية أو فرنسية أو إنجليزية إلا إذا كانت متاحة ومفيدة فعلاً في تلك اللغة. الترجمة الناقصة أو إعادة التوجيه المفروضة لا تصبح وجهة بحث مناسبة لمجرد وجودها في XML. هذه المراجعة جزء من إطلاق أو إعادة تصميم منضبط عبر SEO في المغرب.

الحد الأدنى لصيغة XML هو جذر <urlset> مع مساحة الأسماء، ثم <url> لكل صفحة و<loc> للرابط الكامل. يجب استخدام UTF-8 وترميز الرموز الخاصة في XML مثل &. وسم <lastmod> اختياري؛ وإذا استخدم فليعكس تحديثاً جوهرياً للصفحة، لا وقت إعادة إنشاء الخريطة. وتوضح Google أنها تتجاهل changefreq وpriority في دليل بناء وإرسال sitemap.

اربط الأتمتة بدورة نشر المحتوى

تنشئ أنظمة CMS كثيرة sitemap تلقائياً. اعثر على الملف الحي، وافتحه، وقارن عينة بروابط الموقع القانونية. ثم افحص ما يحدث عند نشر صفحة أو تحويلها أو جعلها مسودة أو حذفها. تفيد الأتمتة إن كانت تتبع هذه التغييرات، وإلا فقد تنشر الخطأ نفسه على آلاف الروابط.

قد يناسب الملف اليدوي موقعاً صغيراً ثابتاً. أما النشر المتكرر أو الكتالوج الواسع فيحتاجان غالباً إلى توليد من بيانات النشر. في الحالتين، لا تغيّر كل تواريخ <lastmod> عند كل نشر تقني من دون تغيير حقيقي في الصفحة.

الحد الأقصى لملف sitemap واحد هو 50,000 رابط أو 50 ميغابايت من دون ضغط. عند تجاوزه، قسم الملفات واستخدم sitemap index. يفيد التقسيم حسب نوع الصفحة أو المنتج أو اللغة في التحقيق عبر Search Console، لكنه ليس تقنية ترتيب. راجع بروتوكول Sitemaps للبنية والحدود.

استخدم robots.txt بحذر

راجع الملف الحي قبل تعديله

اجلب robots.txt من كل نطاق ذي صلة. قد يملك www.example.ma وshop.example.ma ملفين مختلفين. وثق القواعد الحالية ومساراتها وسببها ومالكها. قد تحجب قاعدة قديمة من بيئة تجريبية أو قاعدة واسعة أكثر مما يتوقع فريق العمل بعد ترحيل الموقع.

```txt User-agent: * Disallow: /search/

Sitemap: https://www.example.ma/sitemap.xml ```

هذا مثال فقط إذا كانت /search/ بلا قيمة للزحف. يعرّف Sitemap: بموقع الخريطة ويمكن تكراره، لكنه لا يلغي Disallow ولا يغني عن فحص المعالجة في Search Console. تصف RFC 9309 مجموعات المستخدمين ومسارات السماح والمنع، وقد تعالج الزواحف سجلات أخرى مثل Sitemap بشكل مستقل RFC 9309.

اختبر الأثر لا الصياغة فقط

Disallow: / يمنع زحف الموقع كله للمجموعة المطابقة. تدعم Google بعض أحرف النمط، لكن تفسير الزواحف قد يختلف. اجعل القواعد قصيرة ومرتبطة بسبب موثق، واختبر روابط فعلية مسموحاً بها وأخرى مستهدفة بالمنع.

بعد النشر، تحقق من استجابة robots.txt وsitemap والصفحات المهمة وعينات من كل مجلد تغيرت قواعده. سجل التاريخ والقاعدة والهدف والمالك وخطة التراجع. وعند وجود صفحات حملات، نسق مع إنشاء صفحات الهبوط حتى لا تعزل صفحة مفيدة بقاعدة غير مقصودة.

عالج تعارض sitemap وrobots خطوة بخطوة

رسالة Search Console التي تقول إن الرابط «تم إرساله لكنه محجوب بواسطة robots.txt» تشير إلى تناقض، لا إلى سبب وحيد لعدم الفهرسة. افحص الرابط حرفياً: البروتوكول والنطاق والشرطة النهائية والمعلمات والوجهة بعد التحويل قد تغير القاعدة المطبقة.

1. حدد الحالة المطلوبة: قابل للفهرسة، غير قابل للفهرسة، خاص، محول أو محذوف.
2. تحقق من وجود الرابط نفسه أو وجهته النهائية في sitemap.
3. قارنه بقواعد robots وcanonical ووسم أو ترويسة robots وحالة HTTP والروابط الداخلية.
4. أصلح التناقض: أزل رابطاً غير مقصود للبحث من sitemap، أو اسمح بالزحف إن كان المحرك يحتاج قراءة الصفحة وتعليمات فهرستها.
5. أعد التحقق في الأدوات ذات الصلة من دون افتراض موعد ثابت للمعالجة أو الفهرسة.

ليس سبب الصفحة غير المفهرسة دائماً sitemap أو robots. فقد يرتبط بالمنفعة أو الروابط الداخلية أو أخطاء الخادم أو canonical أو التكرار أو العرض. هذه الملفات أدوات تحكم في التشخيص وليست زر فهرسة.

حدود ومواعيد للمراجعة

لا يعوض sitemap نظيف عن صفحة مفيدة أو بنية روابط توصل القارئ والزاحف إلى الصفحات المهمة. ولا يتحكم robots.txt في كل زاحف ولا يؤمن مورداً عاماً. كما أن صحة XML لا تثبت أن الصفحة تستحق تمثيل الموقع في البحث.

راجع الملفين قبل وبعد الترحيل وإعادة التصميم وتبديل CMS وإطلاق لغة جديدة وتعديل الكتالوج أو قواعد الفهرسة. وحين تتداخل هذه القرارات مع المحتوى ومسار التحويل والقياس، تساعد خدمات Tracking & Analytics والاستراتيجية الرقمية في تحديد المسؤوليات وطرق التحقق، من دون وعد بأثر تجاري.

أسئلة شائعة حول XML sitemap وrobots.txt

هل يضمن XML sitemap فهرسة الرابط؟

لا. هو إشارة للاكتشاف. افحص أيضاً قابلية الوصول والروابط الداخلية وcanonical وإمكانية الفهرسة ومنفعة الصفحة.

هل أستخدم robots.txt لإزالة صفحة HTML عامة من Google؟

ليس افتراضياً. قد يكتشف Google الرابط من مكان آخر. استخدم noindex يستطيع الزاحف قراءته، أو إزالة المورد، أو حماية وصول بحسب الهدف.

أين أضع رابط sitemap؟

أضف رابط Sitemap: كاملاً في robots.txt، أو أرسله من خلال Search Console، أو استخدم الطريقتين. كلاهما إشارة لا ضمان لاستعمال كل رابط.

هل ينبغي إدراج كل روابط الموقع؟

لا. أدرج الصفحات القانونية والقابلة للفهرسة والمقصودة للبحث. استبعد التحويلات والتكرارات والاختبارات والمعلمات غير المفيدة والصفحات المستبعدة عمداً.

المصادر

• Google Search Central — Learn about sitemaps
• Google Search Central — Build and submit a sitemap
• Google Search Central — Introduction to robots.txt
• IETF — RFC 9309: Robots Exclusion Protocol
• Sitemaps.org — XML sitemap protocol