ملف robots.txt هو عبارة عن مجموعة من الأوامر تؤدي لأرشفة أو منع أرشفة صفحات معينة في موقعك، وهو مهم جدًّا لتحسين السيو و أرشفة مواضيع مدونة بلوجر على محركات البحث.
الغرض الأساسي من ملف robots.txt هو التحكم فى حركة الروبوتات الخاصة بمحركات البحث مثل جوجل و بينج و ياندكس والتى تقوم بفهرسة مواضيع موقعك الإلكتروني ليظهر في نتائج البحث ، و يمكنك من خلال بعض الأوامر في ملف robots.txt منع أرشفة صفحات و أقسام معينة داخل موقعك الإلكتروني.
وفي هذا المقال سأقدم لكم ملف robots.txt الصحيح ، إضافة إلى طريقة إضافته إلى لوحة التحكم الخاصة بمنصة بلوجر مع طريقة تخصيصة و إختباره بإستعمال أداة محرك البحث جوجل.
 |
| ملف robots.txt الصحيح |
ملف robots.txt الصحيح مع كيفية تخصيصه
User-agent: Mediapartners-GoogleDisallow:User-agent: *Disallow: /searchAllow: /Sitemap: https://www.arbehi.com/sitemap.xml
محتويات ملف robots.txt
 |
| ملف robots.txt |
- الكود الخاص بجوجل أدسنس ، يجب إضافته إذا كنت تعرض إعلانات أدسنس داخل موقعك.
- تعنى السماح لروبوت جوجل ادسنس بإستكشاف الصفحات والاطلاع عليها لعرض إعلانات متوافقة مع محتوى موقعك أو مدونتك.
- السماح لجميع روبوتات محركات البحث مثل جوجل و بينج و ياندكس بالدخول إلى موقعك و أرشفة جميع محتوياته.
- منع روبوتات محركات البحث من أرشفة روابط البحث search أو التسميات ، تستطيع إستخدامه كذلك لمنع أرشفة الصفحات الثابتة مثل سياسة الخصوصية و إتصل بنا.
- السماح لعناكب محركات البحث من الدخول و أرشفة مواضيع موقعك.
- خريطة أو محتويات موقعك.
كيفية تخصيص ملف robots.txt
- تقوم بنسخ الكود الموجود في الأعلى أو يمكنك تحميله من الرابط الموجود أسفل المقال.
- إذا كنت لاتضع إعلانات أدسنس داخل موقعك، يمكنك إزالة القسمين 1 و 2.
- في القسم الأخير الخاص بملف robots.txt وهو Sitemap، تقوم بتغيير رابط مدونة إحتراف بلوجر و ووردبريس https://blog.arbehi.com/ برابط موقعك أو مدونتك.
طريقة إضافة ملف robots.txt إلى بلوجر
- تقوم بالدخول إلى منصة بلوجر.
- تقوم بالتوجه إلى الإعدادات.
- أسفل قسم برامج الزحف والفهرسة، تقوم بتفعيل محتوى ملف robots.txt مخصص.
- تقوم بإضافة كود ملف robots.txt داخل ملف robots.txt مخصّص.
- تضغط على حفظ.
 |
| طريقة اضافة ملف الروبوت الي بلوجر |
إختبار ملف robots.txt و إرساله إلى محرك البحث
- إذا كان لديك أكثر من موقع إلكتروني على أدوات مشرفي المواقع، إختر الموقع الذي تريد إختباره.
- سيظهر ملف robots.txt الخاص بموقعك مباشرة أو يمكنك وضعه بنفسك.
- تضغط على Test لإختبار ملف robots.txt.
- إذا ظهرت لك علامة ✅ فإن ملف robots.txt صحيح.
- إضغط على إرسال أو Submit.
- أمام Ask Google to update إضغط Submit.
 |
| اختبار ملف robots.txt |
الكثير من أصحاب المواقع و المدونات لا يعرفون طريقة إضافة ملف robots.txt أو يقومون بإستخدامه بطريقة غير صحيحة، لذلك أردت أن أقدم لكم هذا الشرح ، إذا قمت بتطبيقه ستتخلص من جميع المشاكل المرتبطة بملفات robots.txt و أرشفة موقعك أو مدونتك على محركات البحث، إذا إستفدت لا تنسي مشاركة الموضوع لدعمنا علي تقديم الأفضل.
