ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي الذي يحتوي على الأسطر القليلة من رمز بسيط.
يتم حفظها على موقع الويب أو خادم المدونة الذي يوجه برامج زحف الويب حول كيفية فهرسة مدونتك والزحف إليها في نتائج البحث.
هذا يعني أنه يمكنك تقييد أي صفحة ويب على مدونتك من برامج زحف الويب بحيث لا يمكن فهرستها في محركات البحث مثل صفحة ملصقات مدونتك أو صفحتك التجريبية أو أي صفحات أخرى ليست مهمة لفهرستها.
تذكر دائمًا أن برامج زحف البحث تفحص ملف robots.txt قبل الزحف إلى أي صفحة ويب.
تحتوي كل مدونة مستضافة على blogger على ملف robots.txt الافتراضي الخاص بها والذي يبدو كالتالي:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.blogspot.com/sitemap.xml
(تفسير)
ينقسم هذا الرمز إلى ثلاثة أقسام. دعنا أولاً ندرس كل منها بعد ذلك سنتعلم كيفية إضافة ملف robots.txt مخصص في مدونات blogspot.
وكيل المستخدم: Mediapartners-Google
هذا الرمز مخصص لروبوتات Google Adsense التي تساعدك, على تقديم إعلانات أفضل على مدونتك. إما أنك تستخدم Google Adsense على مدونتك .
وكيل المستخدم: *
هذا لجميع robots المميزة بعلامة النجمة (*). في الإعدادات يتم تقييد ارتباطات تسميات المدونة الخاصة بك بالفهرسة عن طريق برامج زحف البحث مما يعني أن برامج زحف الويب لن تقوم ابدا بفهرسة روابط صفحة التسميات الخاصة بنا بسبب الأكواد التي بالاسفل
Disallow: / بحث
هذا يعني أنه سيتم تجاهل الروابط التي تحتوي على بحث بالكلمات الرئيسية بعد اسم المجال مباشرة. انظر المثال أدناه وهو رابط لصفحة التسمية المسماة SEO.
http://www.bloggertipstricks.com/ search / label / SEO
وإذا أزلنا Disallow: / search من الكود أعلاه ، فستصل برامج الزحف إلى مدونتنا بالكامل لفهرسة جميع محتوياتها وصفحات الويب والزحف إليها.
السماح هنا : / يشير إلى الصفحة الرئيسية مما يعني أن برامج زحف الويب يمكنها الزحف إلى الصفحة الرئيسية لمدونتنا وفهرستها.
عدم السماح بنشر معين
لنفترض الآن أنه إذا أردنا استبعاد منشور معين من الفهرسة ، فيمكننا إضافة سطور أدناه في الكود.
Disallow: /yyyy/mm/post-url.html
هنا yyyy و mm تشير إلى سنة نشر المنشور وشهره على التوالي. على سبيل المثال ، إذا نشرنا منشورًا في عام 2013 في شهر مارس ، فعلينا استخدام التنسيق أدناه.
Disallow: /2013/03/post-url.html
لتسهيل هذه المهمة ، يمكنك ببساطة نسخ عنوان URL المنشور وإزالة اسم المدونة من البداية.
عدم السماح بصفحة معينة
إذا احتجنا إلى عدم السماح بصفحة معينة ، فيمكننا استخدام نفس الطريقة المذكورة أعلاه. ما عليك سوى نسخ عنوان URL للصفحة وإزالة عنوان المدونة منه والذي سيبدو كالتالي:
Disallow: /p/page-url.html
خريطة الموقع: http://example.blogspot.com/feeds/posts/default؟orderby=UPDATED
يشير هذا الرمز إلى خريطة موقع مدونتنا. من خلال إضافة رابط خريطة الموقع هنا ، فإننا ببساطة نحسن معدل الزحف إلى مدونتنا.
يعني أنه عندما تقوم برامج زحف الويب بفحص ملف robots.txt الخاص بنا ، فإنها ستعثر على مسار إلى خريطة الموقع الخاصة بنا حيث توجد جميع روابط منشوراتنا المنشورة.
ستجد برامج زحف الويب أنه من السهل الزحف إلى جميع منشوراتنا.
وبالتالي ، هناك فرص أفضل في أن تقوم برامج زحف الويب بالزحف إلى جميع منشورات مدونتنا دون تجاهل واحدة.
ملاحظة : ستخبر خريطة الموقع هذه برامج زحف الويب عن المشاركات الـ 25 الأخيرة فقط. إذا كنت ترغب في زيادة عدد الروابط في خريطة الموقع الخاصة بك ، فاستبدل خريطة الموقع الافتراضية أدناه. سيعمل لأول 500 وظيفة حديثة.
خريطة الموقع: http://example.blogspot.com/atom.xml؟redirect=false&start-index=1&max-results=500
إذا كان لديك أكثر من 500 منشور منشور في مدونتك ، فيمكنك استخدام ملفي Sitemap كما يلي:
خريطة الموقع: http://example.blogspot.com/atom.xml؟redirect=false&start-index=1&max-results=500Sitemap: http://example.blogspot.com/atom.xml؟redirect=false&start-index=500&max- النتائج = 1000
إضافة Custom Robots.txt إلى Blogger
الآن الجزء الرئيسي من هذا البرنامج التعليمي هو كيفية إضافة ملف robots.txt مخصص في المدون. لذلك فيما يلي خطوات لإضافته.
اذهب إلى مدونتك.
انتقل إلى " الإعدادات" >> تفضيلات البحث ">" برامج الزحف والفهرسة ">" ملف robots.txt مخصص ">" تعديل ">" نعم
الآن قم بلصق كود ملف robots.txt الخاص بك في المربع.
انقر على زر حفظ التغييرات.
انتهيت!
كيف تتحقق من ملف Robots.txt الخاص بك؟
يمكنك التحقق من هذا الملف في مدونتك عن طريق إضافة /robots.txt في نهاية عنوان URL لمدونتك في متصفح الويب. فمثلا:
http://www.yourblogurl.blogspot.com/ robots.txt
بمجرد زيارة عنوان URL لملف robots.txt ، سترى الرمز الكامل الذي تستخدمه في ملف robots.txt المخصص الخاص بك.
الكلمات الأخيرة!
كان هذا هو البرنامج التعليمي لهدا اليوم حول كيفية إضافة ملفات robots.txt مخصص في بلوجر .
لقد بذلت قصارى جهدي لجعل هذا البرنامج تعليمي بسيطًا وسهلا وغنيًا بالمعلومات قدر الإمكان. ولكن إذا كان لديك أي شك أو استفسار ، فلا تتردد في سؤالي في قسم التعليقات أدناه.
تأكد من عدم وضع أي رمز في إعدادات ملف robots.txt المخصصة الخاصة بك دون معرفة ذلك. ببساطة اسألني لحل استفساراتك. سأخبرك بكل شيء بالتفصيل.
شكرا يا رفاق لقراءة هذا البرنامج التعليمي. إذا أعجبك ذلك ، فيرجى دعمني لنشر كلماتي من خلال مشاركة هذا المنشور على ملفات تعريف الوسائط الاجتماعية الخاصة بك. تدوين سعيد!