كيفية تحسين WordPress Robots.txt الخاص بك لتحسين محركات البحث باستخدام Yoast SEO

يعد تحسين محركات البحث (SEO) جزءًا مهمًا من بناء موقع ويب فعال، وأحد أهم العوامل في تحقيق نجاح تحسين محركات البحث هو استخدام الأدوات المناسبة لتحسين موقعك. إحدى هذه الأدوات هي ملف Robots.txt، الذي يتحكم في كيفية وصول برامج زحف محركات البحث إلى المحتوى الخاص بك وفهرسته.

يمكن أن يساعدك تحسين ملف WordPress Robots.txt الخاص بك على تحقيق تصنيفات أفضل في محرك البحث، وتحسين رؤية موقع الويب الخاص بك، وزيادة حركة المرور الخاصة بك.

ومع ذلك، على الرغم من أهميته، فإن العديد من مالكي مواقع الويب ليسوا على دراية بكيفية تكوين ملف Robots.txt بشكل صحيح. في منشور المدونة هذا، سنرشدك خلال كل ما تحتاج إلى معرفته لإتقان ملف WordPress Robots.txt لتحسين محركات البحث وفتح الإمكانات الكاملة لتحسين محركات البحث لموقعك على الويب.

فهم دور ملف robots.txt في تحسين محركات البحث

يعد فهم وظيفة ملف robots.txt في تحسين محرك البحث أمرًا ضروريًا لتحقيق أقصى استفادة من جهود تحسين موقع WordPress الخاص بك وتحقيق أفضل النتائج الممكنة. يقدم ملف نصي يسمى Robots.txt، والذي يمكن الإشارة إليه أيضًا باسم بروتوكول استبعاد الروبوتات، تعليمات لبرامج زحف محركات البحث حول المناطق في موقع الويب الخاص بك التي يجب عليهم الزحف إليها وفهرستها.

عندما تزور برامج الروبوت من محركات البحث موقع الويب الخاص بك، فإن أول شيء يفعلونه هو التحقق من الدليل الجذر لملف يسمى robots.txt. يعمل هذا الملف بمثابة دليل للروبوتات، حيث يقدم لهم النصائح حول المواقع والملفات المسموح لهم بزيارتها وكذلك تلك التي لا يُسمح لهم بزيارتها.

لديك سيطرة كاملة على المواد التي تظهر لمحركات البحث والأشياء التي يتم إخفاؤها عنها إذا قمت بتكوين ملف robots.txt الخاص بك بشكل صحيح.

يجب تحسين فعالية المسح لموقع الويب الخاص بك بشكل أساسي باستخدام ملف robots.txt. فهو يساعد روبوتات محرك البحث على التركيز على الزحف إلى الأجزاء الأكثر أهمية في موقع الويب الخاص بك وفهرستها، وبالتالي تجنب إهدار الموارد على المواقع غير الأساسية أو المواد الحساسة التي لا ينبغي إتاحتها لعامة الناس.

ما هو ملف Robots.txt بالضبط؟

يقوم ملف نصي بسيط يُعرف باسم Robots.txt بتوجيه برامج زحف الويب التي تستخدمها محركات البحث إلى صفحات ويب معينة على موقع الويب الخاص بك. بالإضافة إلى ذلك، فإنه يوجه الروبوتات إلى عدم الزحف إلى مواقع معينة.

من الضروري أن تفهم تشغيل محرك البحث قبل أن نبدأ في التحليل المتعمق لهذه المقالة.
الزحف والفهرسة والتصنيف هي الأنشطة الرئيسية الثلاثة التي تقوم بها محركات البحث.

أول شيء تفعله محركات البحث هو إرسال برامج زحف الويب الخاصة بها، والتي تُعرف أيضًا باسم العناكب أو الروبوتات، إلى جميع أنحاء شبكة الويب العالمية. هذه البرامج، المعروفة باسم الروبوتات، عبارة عن أجزاء ذكية من البرامج تزحف عبر شبكة الويب بأكملها بحثًا عن اتصالات وصفحات ومواقع ويب جديدة. الزحف هو المصطلح الذي يطلق على عملية البحث من خلال المحتوى الموجود على الويب.

سيتم تنظيم صفحات موقع الويب الخاص بك في بنية بيانات يمكن استخدامها بعد أن تكتشفها الروبوتات. الفهرسة هي الاسم الذي يطلق على هذا الإجراء.

وفي النهاية، كل شيء يتلخص في التصنيف العالمي. عندما يقوم مستخدم بإدخال استعلام بحث، يجب أن يقدم محرك البحث للمستخدم أفضل المعلومات وأكثرها صلة بالموضوع الذي يمكنه العثور عليه اعتمادًا على ما يبحث عنه المستخدم.

كيف يبدو ملف Robots.txt؟

يعد ملف robots.txt مكونًا حيويًا في بنية موقع الويب ووظائفه، ولكن هل تساءلت يومًا كيف يظهر بالفعل؟

ينطبق الملف على جميع روبوتات محركات البحث التي تزور موقع الويب، كما هو موضح بالعلامة النجمية التي تتبع وكيل المستخدم. يستخدم كل محرك بحث وكيل مستخدم مختلفًا لاستكشاف الإنترنت.

على سبيل المثال، تستخدم Google Googlebot لفهرسة محتوى موقع الويب الخاص بك لبحث Google. عدد وكلاء المستخدم هؤلاء بالمئات. قد يتم تكوين تعليمات مخصصة لكل وكيل مستخدم. على سبيل المثال، يجب أن يكون السطر الأول من ملف robots.txt كما يلي: "إذا كنت ترغب في تعيين تعليمات محددة لبرنامج Googlebot، فسيُعرف باسم وكيل المستخدم: Googlebot.

ما هي ميزانية الزحف بالضبط؟

تشير ميزانية الزحف إلى عدد الصفحات التي يرغب محرك البحث في الزحف إليها على موقع ويب خلال إطار زمني محدد. يتم تحديده من خلال عوامل مختلفة مثل سلطة موقع الويب وشعبيته وقدرة الخادم على التعامل مع طلبات الزحف. بالإضافة إلى ذلك، يجب عليك التأكد من استخدام ميزانية الزحف بأكبر قدر ممكن من الكفاءة لموقعك على الويب.

من المؤكد أنه يجب أن يتم الزحف إلى صفحاتك الأكثر أهمية بواسطة الروبوت أولاً إذا كان موقع الويب الخاص بك يحتوي على عدة صفحات. لذلك من الضروري أن تذكر ذلك على وجه التحديد في ملف robots.txt الخاص بك.

كيفية تحديد موقع ملف robots.txt وتحريره في WordPress؟

يعد تحديد موقع ملف robots.txt وتحريره في WordPress خطوة حاسمة في تحسين موقع الويب الخاص بك لمحركات البحث. من خلال تكوين هذا الملف بشكل صحيح، يمكنك التحكم في أجزاء موقعك التي يمكن لبرامج زحف محركات البحث الوصول إليها، مما يضمن تركيزها على الصفحات والمحتوى الأكثر أهمية.

لتحديد موقع ملف robots.txt وتحريره في WordPress، اتبع الخطوات البسيطة التالية:

1. قم بتسجيل الدخول إلى لوحة تحكم WordPress الخاصة بك.
2. انتقل إلى علامة التبويب "الإعدادات" في القائمة الموجودة على الجانب الأيسر.
3. انقر على "القراءة" للوصول إلى إعدادات القراءة.
4. قم بالتمرير لأسفل حتى تجد قسم “رؤية محرك البحث”.
5. هنا سيظهر لك خيار يقول "تثبيط محركات البحث عن فهرسة هذا الموقع". تأكد من إلغاء تحديد هذا الخيار، لأنه سيؤدي إلى إنشاء ملف robots.txt أساسي يحد من وصول محرك البحث إلى موقعك بالكامل.
6. إذا كنت تريد تخصيص ملف robots.txt الخاص بك بشكل أكبر، فيمكنك القيام بذلك عن طريق الوصول إلى الدليل الجذر لموقع الويب الخاص بك. يمكن القيام بذلك عادةً من خلال عميل FTP أو مدير ملفات cPanel.
7. بمجرد تحديد موقع الدليل الجذر، ابحث عن الملف المسمى "robots.txt".
8. قم بتنزيل نسخة من ملف robots.txt الموجود على جهاز الكمبيوتر الخاص بك كنسخة احتياطية، في حالة ظهور أي مشكلات أثناء التحرير.
9. افتح ملف robots.txt باستخدام محرر النصوص.
10. قم بتخصيص الملف حسب احتياجاتك. يمكنك إضافة توجيهات محددة للسماح أو عدم السماح بالوصول إلى مناطق معينة في موقعك. على سبيل المثال، يمكنك منع محركات البحث من الزحف إلى منطقة الإدارة الخاصة بك عن طريق إضافة السطر التالي:
1. عدم السماح: /wp-admin/
11. احفظ التغييرات في ملف robots.txt وقم بتحميله مرة أخرى إلى الدليل الجذر لموقع الويب الخاص بك، ليحل محل الإصدار السابق.
12. أخيرًا، اختبر ملف robots.txt الخاص بك باستخدام أداة اختبار robots.txt من Google أو أدوات أخرى مماثلة للتأكد من تكوينه بشكل صحيح.

يمكن التحكم في كيفية تفاعل برامج زحف محركات البحث مع موقع الويب الخاص بك في WordPress عن طريق تحديد ملف robots.txt وتعديله في الموقع المناسب. سيسمح لك هذا بالحصول على أفضل النتائج الممكنة فيما يتعلق برؤية موقع الويب الخاص بك وتصنيفه. إذا استثمرت الوقت لتتعرف على هذا الجانب من تحسين محركات البحث (SEO) وتصبح خبيرًا فيه، فستكون في طريقك لتحقيق النجاح لموقع WordPress الخاص بك.

كيفية إنشاء ملف Robots.txt في ووردبريس؟

دعونا نمضي قدمًا وننشئ ملف WordPress Robots.txt لتحسين محركات البحث الآن بعد أن ناقشنا ماهية ملف robots.txt وسبب أهميته. يوفر لك WordPress خيارين متميزين لإنشاء ملف robots.txt. تتضمن الطريقة الأولى استخدام مكون WordPress الإضافي، بينما تتضمن الطريقة الثانية التحميل اليدوي للملف إلى المجلد الجذر لموقع الويب الخاص بك.

الخطوة 1: هذا هو استخدام البرنامج المساعد Yoast SEO لإنشاء ملف Robots.txt

يمكنك استخدام مكونات SEO الإضافية لمساعدتك في تحسين موقع الويب الخاص بك المبني على WordPress. توفر غالبية هذه المكونات الإضافية منشئ ملفات robots.txt الخاص بها داخل حزمة التثبيت الخاصة بها.

أولاً، قم بتنزيل البرنامج المساعد وتثبيته.

انتقل إلى قائمة المكونات الإضافية وانقر على "إضافة جديد". الخطوة التالية هي البحث عن البرنامج الإضافي Yoast SEO، وتنزيله وتشغيله إذا لم يكن لديك بالفعل.

قم بإنشاء ملف robots.txt كخطوة ثانية

إنشاء ملف robots.txt باستخدام Yoast

ستلاحظ الملف الذي تم إنشاؤه باستخدام بعض التوجيهات الافتراضية.

سيتضمن منشئ ملف robots.txt لـ Yoast SEO تلقائيًا التوجيهات التالية:

وكيل المستخدم: * عدم السماح: /wp-admin/ السماح: /wp-admin/admin-ajax.php

أضف تعليمات إضافية إلى ملف robots.txt. بعد تحرير ملف robots.txt، انقر فوق حفظ.

أدخل اسم المجال الخاص بك و"/robots.txt". يكتمل ملف robots.txt الخاص بك إذا كان المتصفح يعرض التوجيهات الافتراضية، كما هو موضح أدناه.
تم إنشاء ملف robots.txt

ونوصي أيضًا بإضافة عنوان URL لخريطة الموقع في ملف robots.txt الخاص بك.

ملف robots.txt الافتراضي
بعد تمكين المكون الإضافي، انتقل إلى Yoast SEO > الأدوات واختر محرر الملفات من القائمة المنسدلة. تابع ملء اسم المجال الخاص بك، ثم تابعه باستخدام "/robots.txt". إذا نظرت إلى المتصفح، ستلاحظ ظهور بعض التوجيهات الافتراضية.

الخطوة 2: استخدام FTP لإنشاء ملف Robots.txt يدويًا

• يعد إنشاء ملف robots.txt على جهاز الكمبيوتر المحلي الخاص بك ثم تحميله إلى المجلد الجذر لموقع الويب WordPress الخاص بك هو الخطوة التالية في العملية.
• بالإضافة إلى ذلك، ستحتاج إلى الوصول إلى استضافة WordPress الخاصة بك عبر استخدام برنامج FTP مثل Filezilla. إذا لم تكن لديك بالفعل بيانات الاعتماد اللازمة لتسجيل الدخول، فسيتم توفيرها لك عبر لوحة التحكم الخاصة بخدمة الاستضافة الخاصة بك. وبالتالي، يمكنك التحقق للتأكد من وجود ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك بعد تسجيل الدخول باستخدام برنامج FTP الخاص بك.



• انقر بزر الماوس الأيمن فوق الملف واختر تحرير إذا كان موجودًا.

لذلك، عندما تقوم بتسجيل الدخول بنجاح باستخدام عميل FTP الخاص بك، ستتمكن من التحقق لمعرفة ما إذا كان ملف robots.txt موجودًا في المجلد الجذر لموقع الويب الخاص بك. يعد إدخال اسم المجال الخاص بك متبوعًا بـ "/robots.txt" أفضل طريقة لتحديد ما إذا كان قد تم تحميل ملفك بنجاح أم لا.

بعد إجراء التغييرات، انقر فوق "حفظ".

سيكون عليك إنشاء الملف إذا لم يكن موجودًا بالفعل. يمكن إجراء ذلك عن طريق إضافة التوجيهات إلى ملف باستخدام محرر نص أساسي مثل Notepad. مثل

وكيل المستخدم: * عدم السماح: /wp-admin/ السماح: /wp-admin/admin-ajax.php

انقر فوق "تحميل الملف" في عميل FTP الخاص بك لتحميل الملف إلى المجلد الجذر لموقع الويب.

اكتب اسم المجال الخاص بك و"/robots.txt" لمعرفة ما إذا كان قد تم تحميل ملفك بنجاح.

هذه هي طريقة تحميل ملف robots.txt يدويًا إلى موقع WordPress الخاص بك!

ملف Robots.txt: معرفة مميزاته وعيوبه

فوائد استخدام ملف robots.txt

فهو يرشد محرك البحث إلى عدم قضاء الوقت على المواقع التي لا ترغب في فهرستها، مما يساعد على تحسين ميزانيات الزحف لمحرك البحث. ومن خلال القيام بذلك، فإنك تزيد من احتمال قيام محركات البحث بالزحف إلى المواقع الأكثر أهمية بالنسبة لك.

يساهم حظر الروبوتات التي تتسبب في إهدار موارد خادم الويب الخاص بك بهذه الطريقة في تحسين الخادم.
يفيد في إخفاء صفحات الشكر والصفحات المقصودة وصفحات تسجيل الدخول وغيرها من الصفحات التي لا تحتاج إلى فهرستها بواسطة محركات البحث.

الجوانب السلبية لملف robots.txt

من المفترض أن تكون الآن قادرًا على عرض ملف robots.txt على أي موقع ويب باستخدام المعلومات المقدمة هنا. ليس من الصعب أن نفهم. ما عليك سوى كتابة اسم النطاق، متبوعًا بـ "/robots.txt"، ثم الضغط على زر الإدخال.

ومع ذلك، هناك خطر ينطوي على هذا إلى حد ما أيضا. هناك احتمال أن يحتوي ملف WordPress Robots.txt for SEO على عناوين URL لبعض الصفحات الداخلية لموقع الويب الخاص بك والتي قد ترغب في عدم فهرستها بواسطة محركات البحث.

على سبيل المثال، قد تكون هناك صفحة لتسجيل الدخول لا تريد فهرستها لأي سبب من الأسباب. ومع ذلك، فإن حقيقة ذكره في ملف robots.txt تجعل من الممكن للمهاجمين رؤية موقع الويب. إذا كنت تحاول إخفاء بعض المعلومات الحساسة، ينطبق نفس الشيء.

حتى إذا قمت بخطأ مطبعي واحد أثناء كتابة ملف robots.txt، فسيؤدي ذلك إلى إهدار كل جهودك في تحسين محركات البحث (SEO). وهذا صحيح حتى لو كان الملف سهل الإنشاء.

أين تضع ملف Robots.txt؟
لنفترض أنك في هذه المرحلة على دراية بالموقع الذي يجب إدراج ملف robots.txt فيه.

يجب أن يكون ملف robots.txt لموقع الويب الخاص بك موجودًا دائمًا في الدليل الجذر لموقع الويب. سيكون عنوان URL لملف robots.txt على موقع الويب الخاص بك هو https://yourdomain.com/robots.txt إذا كان اسم المجال الخاص بك هو yourdomain.com.

بالإضافة إلى وضع ملف robots.txt في الدليل الجذر لموقع الويب الخاص بك، فيما يلي بعض الممارسات الأخرى الموصى بها والتي يجب الالتزام بها:

• من الضروري جدًا تسمية ملفك بالاسم robots.txt.
• من المهم كتابة الاسم بالأحرف الكبيرة. ولذلك، عليك أن تحصل عليه بشكل صحيح، وإلا فإنه لن يعمل.
• يجب وضع كل تعليمات في سطر منفصل.
• عند اكتمال عنوان URL، يجب وضع علامة "$" عليه.
• يجب استخدام مثيل واحد فقط لكل وكيل مستخدم.
• من أجل تزويد البشر بشرح لمحتويات ملف robots.txt الخاص بك، استخدم التعليقات من خلال بدء كل سطر بعلامة التجزئة (#).

اختبار ملف robots.txt والتحقق من صحته

يعد اختبار ملف robots.txt والتحقق من صحته خطوة حاسمة في ضمان قيام محركات البحث بالزحف إلى موقع الويب الخاص بك وفهرسته بشكل صحيح. يمكن لملف robots.txt المحسّن بشكل جيد أن يمنع محركات البحث من الوصول إلى الصفحات الحساسة أو غير ذات الصلة، ويحسن كفاءة الزحف، وفي النهاية يعزز الأداء العام لموقع الويب الخاص بك.

لبدء اختبار ملف robots.txt، يمكنك استخدام العديد من الأدوات عبر الإنترنت المصممة خصيصًا لهذا الغرض. تسمح لك هذه الأدوات بإدخال توجيهات ملف robots.txt ومحاكاة كيفية تفسير محركات البحث لها ومتابعتها.

ومن خلال تحليل النتائج، يمكنك تحديد أي مشكلات محتملة أو تكوينات خاطئة في ملفك. تعد مراقبة ملف robots.txt وتحديثه بانتظام أمرًا بالغ الأهمية، خاصة عند إجراء تغييرات على بنية موقع الويب الخاص بك أو محتواه.

من خلال البقاء يقظًا، يمكنك تحديد أي مشكلات قد تنشأ وتصحيحها بسرعة. سيساهم هذا النهج الدقيق في نهاية المطاف في تحسين إمكانية إدراك موقع الويب الخاص بك وفهرسته ونجاحه بشكل عام في المشهد الرقمي.

الأداة التي نقترحها هنا هي Google Search Console

يمكنك إضافة موقع الويب الخاص بك إلى Google Search Console بالانتقال إلى الرابط "أضف خاصية الآن" واتباع التعليمات البسيطة التي تظهر على الشاشة. بعد الانتهاء، ستتضمن القائمة المنسدلة التي تحمل عنوان "الرجاء اختيار مكان الإقامة" موقع الويب الخاص بك من بين الخيارات.

بعد تحديد موقع الويب، ستحصل الأداة تلقائيًا على ملف robots.txt المرتبط بموقعك على الويب وتسلط الضوء على أي أخطاء أو تحذيرات، إن وجدت.

هل ملف Robots.txt ضروري لموقع الويب الخاص بك على WordPress؟

في الواقع، يحتاج موقع WordPress الخاص بك إلى ملف robots.txt. حتى لو لم يكن موقع الويب الخاص بك يحتوي على ملف robots.txt، فإن محركات البحث ستقوم بالزحف إليه وفهرسته. الآن بعد أن ناقشنا الغرض من ملف robots.txt وطريقة عمله وميزانية الزحف إليه، لماذا تريد حذف ملف robots.txt؟

يتم تدريب محركات البحث على ما يجب الزحف إليه، والأهم من ذلك، ما لا يجب الزحف إليه عبر ملف robots.txt.

يعد النظر في العواقب السلبية لميزانية الزحف أحد الأسباب الرئيسية لإضافة ملف robots.txt.

كما قلنا سابقًا، كل موقع ويب لديه ميزانية زحف. يعتمد الأمر كله على عدد المواقع التي يزورها الروبوت في جلسة واحدة. سيعود الروبوت ويواصل الزحف في الجلسة اللاحقة إذا لم يكمل جميع الصفحات الموجودة على موقع الويب الخاص بك في تلك الجلسة.
وهذا أيضًا يقلل من وتيرة فهرسة موقع الويب الخاص بك.

يمكنك حفظ حصة الزحف الخاصة بك عن طريق إصلاح ذلك بسرعة عن طريق منع روبوتات البحث من فحص أصول الوسائط وأدلة السمات والمكونات الإضافية والمواقع الدخيلة.

الكلمات الأخيرة
نحن نعطي الأولوية لتحسين المحتوى والبحث عن الكلمات الرئيسية وبناء الروابط الخلفية وإنشاء ملف sitemap.xml والمهام الأخرى المتعلقة بتحسين محركات البحث أثناء العمل على موقع الويب الخاص بك. يعد WordPress Robots.txt لتحسين محركات البحث أحد الجوانب التي يتجاهلها بعض مشرفي المواقع.

قد لا يكون ملف robots.txt مهمًا جدًا عند إطلاق موقع الويب الخاص بك لأول مرة. ومع ذلك، عندما يصبح موقع الويب الخاص بك أكبر ويحتوي على المزيد من الصفحات، فسوف يؤتي ثماره بشكل جيد إذا بدأنا في استخدام ملف robots.txt الموصى به.