ملف robots txt – ما هو؟ – وهل أحتاجه لموقعي؟

ملف robots txt

ملف robots txt عبارة عن مجموعة من الإرشادات لبرامج الروبوت. يتم تضمين هذا الملف في الملفات المصدر لمعظم مواقع الويب.

تهدف ملفات Robots في الغالب إلى إدارة أنشطة الروبوتات الجيدة مثل برامج زحف الويب، نظرًا لأنه من غير المحتمل أن تتبع الروبوتات السيئة الإرشادات.

فكر فيه على أنه مثل “قواعد السلوك” الموضوعة على الحائط في صالة ألعاب رياضية أو بار أو مركز مجتمعي: الورقة نفسها ليس لها سلطة لفرض القواعد المدرجة، ولكن الزوار “الجيدين” سيتبعون القواعد، بينما من المحتمل أن يخرقها “السيئون” ويحظرون أنفسهم.

البوت هو برنامج كمبيوتر آلي يتفاعل مع مواقع الويب والتطبيقات. هناك روبوتات جيدة وروبوتات سيئة، وهناك نوع واحد من البوتات الجيدة يسمى روبوت زاحف الويب.

تقوم هذه الروبوتات “بالزحف” إلى صفحات الويب وفهرسة المحتوى بحيث يمكن أن يظهر في نتائج

محرك البحث. يساعد ملف robots في إدارة أنشطة برامج زحف الويب هذه بحيث لا ترهق خادم الويب الذي يستضيف موقع الويب أو فهرسة الصفحات غير المخصصة للعرض العام.

لماذا يعتبر ملف robots txt مهمًا؟

لا تحتاج معظم مواقع الويب إلى ملف robots .

وذلك لأن محرك البحث Google يمكنه عادةً العثور على جميع الصفحات المهمة على موقعك وفهرستها.

ولن يقوموا تلقائيًا بفهرسة الصفحات غير المهمة أو النسخ المكررة من الصفحات الأخرى.

ومع ذلك، هناك ثلاثة أسباب رئيسية تدفعك لاستخدام هذا الملف

حظر الصفحات غير العامة: في بعض الأحيان يكون لديك صفحات على موقعك لا تريد فهرستها. على سبيل المثال، قد يكون لديك إصدار مرحلي من الصفحة. أو صفحة تسجيل الدخول. يجب أن تكون هذه الصفحات موجودة. لكنك لا تريد أن يهبط عليها أشخاص عشوائيون. هذه هي الحالة حيث يمكنك استخدام ملف robots txt لمنع هذه الصفحات من برامج الزحف وبرامج الروبوت لمحركات البحث.

زيادة الزحف إلى الحد الأقصى: إذا كنت تواجه صعوبة في فهرسة جميع صفحاتك، فقد تواجه مشكلة في الزحف. من خلال منع الصفحات غير المهمة باستخدام ملف robots txt، يمكن لبرنامج Googlebot إنفاق المزيد من ميزانية الزحف على الصفحات المهمة بالفعل.

منع فهرسة الموارد: يمكن أن يعمل استخدام التوجيهات الوصفية تمامًا مثل ملف robots لمنع فهرسة الصفحات. ومع ذلك، لا تعمل التوجيهات الوصفية بشكل جيد مع موارد الوسائط المتعددة، مثل ملفات PDF والصور. وهنا يأتي دوره.

هل تحتاج إلى ملف ملف robots txt لموقع WordPress الخاص بك؟

إذا لم يكن لديك، فستستمر محركات البحث في الزحف إلى موقعك على الويب وفهرسته. ومع ذلك، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا ينبغي عليهم الزحف إليها.

لن يكون لهذا تأثير كبير عندما تبدأ مدونة لأول مرة ولا تحتوي على الكثير من المحتوى. ومع ذلك، مع نمو موقع الويب الخاص بك ويصبح لديك الكثير من المحتوى، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب الخاص بك وفهرسته.

إليكم السبب, تحتوي روبوتات البحث على حصة زحف لكل موقع ويب. هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك، فسيعودون ويستأنفوا الزحف في الجلسة التالية. هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك.

يمكنك إصلاح ذلك عن طريق عدم السماح لروبوتات البحث بمحاولة الزحف إلى صفحات غير ضرورية مثل صفحات مسؤول WordPress وملفات المكونات الإضافية ومجلد السمات.

من خلال عدم السماح للصفحات غير الضرورية، فإنك تحفظ حصة الزحف الخاصة بك. يساعد هذا محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.

سبب وجيه آخر لاستخدام ملف robots هو عندما تريد منع محركات البحث من فهرسة منشور أو صفحة على موقع الويب الخاص بك. إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.

كيفية إنشاء ملف robots txt في WordPress

هناك طريقتان في WordPress. يمكنك اختيار الطريقة التي تناسبك.

الطريقة الأولى: تحرير Robots txt باستخدام All in One SEO

All in One SEO المعروف أيضًا باسم AIOSEO هو أفضل مكون إضافي لـ WordPress SEO في السوق يستخدمه أكثر من مليوني موقع ويب.

إنه سهل الاستخدام ويأتي مع منشئ ملفات robots txt.

ملاحظة: يتوفر أيضًا إصدار مجاني من AIOSEO وبه هذه الميزة.

بمجرد تثبيت المكون الإضافي وتنشيطه، يمكنك استخدامه لإنشاء  robots txt وتحريره مباشرة من منطقة إدارة WordPress الخاصة بك.

ما عليك سوى الانتقال إلى All in One SEO »أدوات لتعديل  robots txt الخاص بك.

أولاً، ستحتاج إلى تشغيل خيار التعديل، بالنقر على زر التبديل “تمكين Robots txt المخصص” إلى اللون الأزرق.

باستخدام هذا التبديل، يمكنك إنشاء ملف robots مخصص في WordPress

سيعرض All in One SEO ملف robots txt الحالي في قسم “معاينة ملف Robots txt” أسفل الشاشة.

سيعرض هذا الإصدار القواعد الافتراضية التي تمت إضافتها بواسطة WordPress.

تخبر هذه القواعد الافتراضية محركات البحث بعدم الزحف إلى ملفات WordPress الأساسية الخاصة بك، وتسمح لبرامج الروبوت بفهرسة كل المحتوى، وتوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقعك.

الآن، يمكنك إضافة القواعد المخصصة الخاصة بك لتحسين ملف robots txt لتحسين محركات البحث.

لإضافة قاعدة، أدخل وكيل المستخدم في حقل “وكيل المستخدم”. سيؤدي استخدام * إلى تطبيق القاعدة على جميع وكلاء المستخدم.

ثم حدد ما إذا كنت تريد “السماح” أو “عدم السماح” لمحركات البحث بالزحف.

بعد ذلك، أدخل اسم الملف أو مسار الدليل في الحقل “مسار الدليل”.

سيتم تطبيق القاعدة تلقائيًا على ملف robots الخاص بك. لإضافة قاعدة أخرى، انقر فوق الزر “إضافة قاعدة”.

نوصي بإضافة القواعد حتى تقوم بإنشاء تنسيق robots المثالي.

بمجرد الانتهاء من ذلك، لا تنس النقر على الزر “حفظ التغييرات” لتخزين تغييراتك.

الطريقة الثانية: قم بتحرير ملف Robots يدويًا باستخدام FTP

لهذه الطريقة، ستحتاج إلى استخدام عميل FTP لتحرير ملف robots txt.

ما عليك سوى الاتصال بحساب استضافة WordPress الخاص بك باستخدام عميل FTP.

بمجرد الدخول، ستتمكن من رؤية ملف robots txt في المجلد الجذر لموقع الويب الخاص بك

إذا كنت لا ترى واحدة، فمن المحتمل أنه ليس لديك ملف robots txt.

في هذه الحالة، يمكنك المضي قدمًا وإنشاء واحدة.

Robots هو ملف نصي عادي، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit.

بعد حفظ التغييرات، يمكنك تحميلها مرة أخرى إلى المجلد الجذر لموقعك على الويب.

كيف تختبر ملف robots txt الخاص بك؟

بمجرد إنشاء ملف robots txt الخاص بك، فمن الأفضل دائمًا اختباره باستخدام أداة اختبار ملف robots txt.

هناك العديد من أدوات اختبار ملف robots txt، لكننا نوصي باستخدام الأداة الموجودة داخل Google Search Console.

أولاً، ستحتاج إلى ربط موقع الويب الخاص بك بـ Google Search Console.

بعد ذلك، يمكنك استخدام Google Search Console Robots Test Tool.

ببساطة اختر الملفات الخاصة بك من القائمة المنسدلة.

ستقوم الأداة تلقائيًا بجلب ملف robots txt لموقع الويب الخاص بك وتمييز الأخطاء والتحذيرات إذا وجدت أيًا منها.

افكار اخيرة

الهدف من تحسين ملف robots هو منع محركات البحث من الزحف إلى الصفحات غير المتاحة للجمهور. على سبيل المثال, الصفحات الموجودة في مجلد مسؤول WordPress الخاص بك.

هناك خرافة شائعة بين خبراء تحسين محركات البحث وهي أن حظر فئة WordPress والعلامات وصفحات الأرشيف سيؤدي إلى تحسين معدل الزحف ويؤدي إلى فهرسة أسرع وتصنيفات أعلى.

هذا ليس صحيحا. كما أنه مخالف لإرشادات مشرفي المواقع من Google.

نوصي باتباع تنسيق robots أعلاه لإنشاء ملف txt لموقع الويب الخاص بك.

نأمل أن تساعدك هذه المقالة في تعلم كيفية انشاء ملف robots في WordPress من أجل تحسين محركات البحث.