مولد ملفات Robots TXT لمدونات بلوجر 2023
ملفات روبوت تكست robot txt هي عبارة عن اكواد تقم بتوجية عناكب البحت الخاصة بالمحركات البحت متل قوقل وبينق و ياندكس و ياهو وغيرها الى موقع أو بالاحرى الى خريطة موقع.
يمكنك التجكم بهده الأكواد لجعل محركات البحت تدخل لروابط موقعك واذاغ اردت حظر روابط لا تريد للمحركات البحت الولوج لاها وعرضها على محركاتها فقط تضع الرابط في حظر.
ما هو بروتوكول robots.txt بالضبط؟
يسمح لك بروتوكول Robots.txt بتوجيه العناكب على موقع الويب الخاص بك حتى تقوم فقط بالزحف إلى الصفحات التي تريدها أن تزحف إليها. على الرغم من أن هذا قد يبدو مخالفًا لأهداف مُحسّنات محرّكات البحث ، إلا أن منع العناكب من استكشاف بعض المحتوى الخاص بك يمكن أن يكون مفيدًا بالفعل. على سبيل المثال ، قد ينطبق هذا عند إنشاء موقع ويب جديد ، أو إذا كان لديك إصدارات متعددة من صفحة على موقعك ولا تريد معاقبة المحتوى المكرر.
يمكن إرجاع أصول البروتوكول إلى منتصف التسعينيات عندما بدأ مشرفي المواقع الأوائل لديهم مخاوف بشأن زيارة العناكب لمواقعهم الإلكترونية. نمت الفكرة لتلبي احتياجات مصممي الويب الحديثين وسيتم قبول الإصدار الحالي من قبل العناكب المرسلة من محركات البحث الرئيسية.
هل أحتاج إلى ملف robots.txt؟
نظرًا لأن ملف robots.txt يخبر عناكب محركات البحث بعدم الزحف إلى صفحات معينة ، فقد يعتقد بعض مالكي المواقع عن طريق الخطأ أن هذه طريقة جيدة للحفاظ على خصوصية معلومات معينة. لسوء الحظ ، على الرغم من أن العناكب الصادقة ، مثل تلك الموجودة في Google أو Bing ، ستحترم البروتوكول ، إلا أن هناك الكثير من العناكب الخبيثة التي لن تفعل ذلك ، وبالتالي لا يزال من الممكن سرقة معلوماتك.
من الممكن أيضًا أن تنتهي المعلومات مفهرسة بطرق أخرى ، مثل موقع آخر يرتبط بالمحتوى. إذا كانت لديك معلومات شخصية ، فيجب أن تتمتع بأمان أقوى ، مثل جدار الحماية.
أين يجب وضع ملف robots.txt؟
عند استخدام ملف robots.txt ، من الجيد أن تكون على دراية بالرموز الأساسية. يخبر "*" العنكبوت أن هذا الأمر ينطبق على جميع برامج زحف الويب. يمكنك استبدال هذا بالاسم إذا كنت تريد فقط منع بعض محركات البحث من فهرسة الصفحة. سيشير الرمز "/" إلى أن القاعدة تنطبق على جميع الصفحات الموجودة في موقع معين. يمكن استبدال هذا الرمز باسم دليل أو صفحة معينة.
على سبيل المثال ، إذا كنت تريد إخبار جميع برامج زحف الويب بتجاهل جميع الصفحات الموجودة على موقعك ، فسيبدو الأمر كما يلي:
إذا كنت تريد إخبار جميع برامج زحف الويب بتجاهل دليل معين ، فسيبدو الأمر كما يلي:
إذا كنت تريد إخبار جميع برامج زحف الويب بتجاهل صفحات معينة ، فستكتب:
إذا كنت ترغب في حظر روبوت معين فقط من موقعك ، فحينئذٍ تقوم بتعديل وكيل المستخدم وتكتب:
أخيرًا ، إذا كنت تريد السماح لزاحف ويب واحد فقط وحظر الباقي ، فستكتب:
يخبر الجزء الأول من الأمر Google أنه يمكنه استكشاف الموقع بالكامل ، حيث لا يوجد شيء بجوار قسم عدم السماح. يتحدث الجزء الثاني من الأمر إلى بقية الروبوتات ويطلب منهم الابتعاد.
من الجيد مراعاة الإرشادات التالية:
- يجب عليك دائمًا كتابة ملف robots.txt بأحرف صغيرة
- يجب أن تكون الأوامر موجودة في دليل المستوى الأعلى لخادم الويب
- يمكنك الحصول على "عدم السماح" واحد فقط لكل عنوان URL على الموقع
- تحتاج النطاقات الفرعية التي لها مجال جذر مشترك إلى ملفات robots.txt مختلفة
- لا تستخدم مسافات لفصل معاملات الأمر
يعد استخدام البروتوكول أمرًا بسيطًا نسبيًا ، ولكن الأخطاء المطبعية البسيطة يمكن أن تعرقل الأوامر بسهولة. بعد كتابة النموذج الأولي الخاص بك ، تأكد من استخدام أداة اختبار Google لمعرفة كيف سيفسر محرك البحث العملاق البروتوكول الخاص بك.
عند استخدامه بحكمة ، يمكن أن يكون ملف robots.txt موردًا قيمًا ويساعدك على التحكم في ماذا ومتى تستكشف عناكب محرك البحث عروضك.