شرح عمل ملف robots.txt للمبتدئين بمدونات بلوجر بالتفصيل !

شرح عمل ملف robots.txt بالتفصيل للمبتدئين

سنشرح كل شيء متعلق بملف robots.txt وأهميته وفهل كل كلمة فيه, حتى نستطيع إنشاء ملف robots.txt بأنفسنا وبسهولة كبيرة.

كل موقع لديه ملف robots.txt ولكن ما الفائدة منه؟ وكيف أقوم بعمله لموقعي؟ ورفعه للموقع؟
ستجد أجابة لكل أسألتك في هذه التدوينة بأذن الله.

ماهو ملف robots.txt ؟

هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol.
ووظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.
ملف robots.txt يكون عام ويمكن لأي شخص مشاهدته, ويكون على المسار www.example.com/robots.txt, ويمكنك مشاهدة ملف robots.txt للموقع الناجح على الرابط,  http://sitesuccessful.com/robots.txt

كيف أقوم بأنشاء ملف robots.txt ؟

أمر سهل جداً وليس صعب, فقط أفتح مفكرة أو Notepad جديدة.

 

 قم في بداية الصفحة بكتابة * :User-agent وأشارة النجمة تعني بمنع جميع عناكب البحث من أرشفة الصفحات التي تلي هذا الأمر, ونلاحظ في ملف robots.txt للموقع الناجح أني قمت بحجب العناكب عن صفحات الادارة والتعليقات وهي:

User-agent : *

Disallow: /wp-admin/

Disallow: /author

Disallow: /comments/feed/

ستقوم أنت بتعيين جميع الصفحات التي لا تريد أن تتأرشف وتضعها بعد Disallow, حيث تختلف روابط الادارة في حال كنت تستخدم بلوغر أو منتدى.
العناكب الآن تدخل إلى موقعك بشكل سليم ولكن لا تقوم بأرشفة الصفحات التي قمت بمنعها, لنفهم أن ملف robots.txt وظيفته الأولى هي منع العناكب من الدخول للصفحات الحساسة.
لنقوم الآن باستدعاء عناكب الصور والجوال لأرشفة الموقع, وذلك عن طريق نفس الأوامر, حيث Googlebot-Image هي عناكب الصور وGooglebot-mobile هي عناكب الجوال, وستستمح لهم بأرشفة كل موقعك وذلك عبر Allow كما في الصورة:

بعد ذلك ستقوم بأدخال رابط خريطة موقعك في نهاية الملف sitemap: www.example.com/sitemap.xml

هل ما زلت تجد صعوبة في إنشاء ملف robots.txt ؟
لا مشكلة, سأقوم بطرح مثال لتوضيح الأمور, لنفترض أن موقعك لديه لوحة تحكم على الرابط: www.example.com/admin , ويمكنك التحكم بالصور والفيديوهات والملفات من خلال الروابط التالية:
www.example.com/admin/images
www.example.com/admin/videos
www.example.com/admin/files
لن تقوم أنت بكتابة أمر المنع لجميع هذه الصفحات, ولكن ستوضح لعناكب البحث أن كل صفحة لها علاقة بالادمن أو الأدارة لا تنظر لها والابتعاد عنها, عن طريق أبعادهم عن كلمة admin ليصبح شكل الملف :

الآن أي رابط يحوي على admin لن تدخله عناكب البحث.

ملاحظة: لا تقم بحجب أي ملفات جافا سكربت أو ملفات CSS لأن عناكب البحث لن تستطيع مشاهدة موقعك بشكل جيد كما يراه الانسان, اسمح لعناكب البحث بالوصول للملفات للحصول على ارشفة افضل.

كيف أقوم برفعه لموقعي؟

من خلال السي بانل قم برفعه على المجلد الرئيسي لموقعك, حيث تكون قد حفظت الملف على سطح المكتب بأسم robots.txt, ليصبح هناك صفحة خاصة بموقعك فيها هذه الملف, www.yoursite.com/robots.txt
ثم أذهب إلى أدوات مشرفي المواقع google webmasters tools, وأدخل إلى أداة فحص ملف الروبوت, قم بأدخال المسار “الرابط”, ثم أضغط على Test أو فحص, ثم شاهد النتائج.

اذا اعجبك الموضوع لا تبخل علينا بالأشتراك في قناتنا والاعجاب بصفحتنا على الفايس بوك