وقتی عنکبوت موتور جستجو از وب سایت شما بازدید می کند، فایل Robots.txt را می خواند که شامل مجموعه ای از قوانین خاص است. در نتیجه، این فایل Robots.txt دارای محدودیت‌های متعددی است، مانند اینکه کدام دایرکتوری‌ها مجاز به اسکن و فهرست‌بندی هستند، و کدام دایرکتوری‌ها مجاز به اسکن و فهرست‌بندی نیستند، و قوانین مشابهی برای فایل‌ها، صفحات وب و موارد دیگر اعمال می‌شود. شما نمی خواهید در نتایج جستجوی عمومی نمایش داده شود. در نتیجه، فایل Robots.txt برای ایمن سازی وب سایت شما در برابر هکرها مهم است زیرا به شما امکان می دهد آدرس پنل مدیریت و سایر دایرکتوری های حساسی که نمی خواهید در موتورهای جستجو نمایش داده شوند را مشخص کنید.
بنابراین، چگونه قوانین را در این فایل robots.txt بنویسید؟ خوب، برای مبتدیان آسان نیست و نوشتن فایل های robots.txt زمان می برد. به همین دلیل است که Useotools.com ابزار رایگان Robots.txt Creator را ارائه می دهد که به شما امکان می دهد یک فایل robots.txt را در عرض چند ثانیه تنها با چند کلیک ایجاد کنید. در نتیجه، ابزار دارای تنظیمات مختلفی است که در زیر به آنها اشاره شده است.
پیش‌فرض - همه روبات‌ها عبارتند از: دو گزینه برای این گزینه وجود دارد: "مجاز" و "رد شده". اگر می‌خواهید همه ربات‌های موتورهای جستجو از وب‌سایت شما بازدید و اسکن کنند، آن را روی «مجاز» تنظیم کنید، اما اینترنت آنقدرها قابل اعتماد نیست. ربات‌های بدی وجود دارند، بنابراین اگر می‌خواهید روبات‌ها یا عنکبوت‌های خاصی را در لیست سیاه قرار دهید، آن را روی «رد شده» تنظیم کنید. Crawl-Delay: این یک قانون مهم است. این اجازه می دهد تا عنکبوت ها اسکن را برای مدت زمان خاصی به تاخیر بیاندازند. به عنوان مثال، اگر یک سایت بزرگ با نقشه سایت بزرگ دارید، نمی خواهید سرور را با اجازه دادن به عنکبوت برای کاوش همزمان سایت شما، بیش از حد بارگذاری کنید. در نتیجه باید Crawl Delay را تنظیم کنید تا عنکبوت ها به آرامی وب سایت شما را بخزند و سرور را بیش از حد بارگذاری نکنند. نقشه سایت: نقشه سایت یکی دیگر از قوانین مهم است. اگر وب سایت شما بزرگ است، باید یک نقشه سایت داشته باشید تا عنکبوت های موتورهای جستجو بدانند چه چیزی را کاوش کنند. این بسیار شبیه به نقشه شهر برای بازدیدکنندگان جدید است. اگر وب سایت شما دارای نقشه سایت است، می توانید آن را در اینجا وارد کنید. ربات‌های جستجوگر: در اینجا لیستی از ربات‌ها/عنکبوت‌های موتور جستجو وجود دارد که می‌توانید آنها را بپذیرید یا رد کنید. فهرست راهنماهای محدود: می توانید از این بخش برای تعیین نام دایرکتوری های محدود و مسیرهایی که نمی خواهید موتورهای جستجو خزیده و داخل آن ها نگاه کنند، استفاده کنید.