عندما يزور عنكبوت محرك بحث موقعك على الويب ، فإنه يقرأ ملف Robots.txt الذي يحتوي على مجموعة خاصة من القواعد. نتيجة لذلك ، يحتوي ملف Robots.txt هذا على العديد من القيود ، مثل الأدلة التي يُسمح لك بمسحها ضوئيًا وفهرستها ، والأدلة التي لا يُسمح لك بمسحها ضوئيًا وفهرستها ، وقواعد مماثلة تنطبق على الملفات وصفحات الويب والعناصر الأخرى التي لا تريد أن تظهر في نتائج البحث العامة. نتيجة لذلك ، يعد ملف Robots.txt مهمًا لتأمين موقع الويب الخاص بك من المتسللين لأنه يسمح لك بتحديد عنوان لوحة الإدارة والأدلة الحساسة الأخرى التي لا تريد عرضها في محركات البحث.
إذًا ، كيف تكتب القواعد في ملف robots.txt هذا؟ حسنًا ، ليس من السهل على المبتدئين ، ويستغرق الأمر وقتًا لكتابة ملفات robots.txt. لهذا السبب يوفر موقع Useotools.com الأداة المجانية Robots.txt Creator ، والتي تتيح لك إنشاء ملف robots.txt في غضون ثوانٍ ببضع نقرات فقط. نتيجة لذلك ، تحتوي الأداة على مجموعة متنوعة من الإعدادات الموضحة أدناه.
افتراضي - جميع الروبوتات هي: هناك خياران لهذا الخيار: "مسموح به" و "مرفوض". اضبطه على "مسموح به" إذا كنت تريد أن تقوم جميع روبوتات محركات البحث بزيارة موقع الويب الخاص بك وفحصه ، ولكن الإنترنت ليس موثوقًا به. هناك بعض الروبوتات السيئة ، لذا اضبطها على "مرفوض" إذا كنت تريد وضع برامج روبوت أو عناكب في القائمة السوداء. الزحف - تأخير: إنها قاعدة مهمة. يسمح للعناكب بتأخير المسح لفترة معينة من الوقت. على سبيل المثال ، إذا كان لديك موقع كبير به خريطة موقع كبيرة ، فأنت لا تريد زيادة التحميل على الخادم من خلال السماح للعنكبوت باستكشاف موقعك في نفس الوقت. نتيجة لذلك ، يجب عليك تعيين تأخير الزحف بحيث تزحف العناكب إلى موقع الويب الخاص بك ببطء ولا تفرط في تحميل الخادم. خريطة الموقع: يعد ملف Sitemap قاعدة مهمة أخرى. إذا كان موقع الويب الخاص بك كبيرًا ، فيجب عليك الاحتفاظ بخريطة موقع حتى تعرف عناكب محرك البحث ما يجب استكشافه. إنها تشبه إلى حد بعيد خريطة المدينة للزوار الجدد. إذا كان موقع الويب الخاص بك يحتوي على خريطة موقع ، فيمكنك إدخالها هنا. روبوتات البحث: فيما يلي قائمة بروبوتات / عناكب محركات البحث التي يمكنك قبولها أو رفضها. الدلائل المقيدة: يمكنك استخدام هذا القسم لتحديد أسماء الأدلة المقيدة والمسارات التي لا تريد أن تزحف إليها محركات البحث وتبحث بداخلها.