Quando uno spider dei motori di ricerca visita il tuo sito web, legge il file Robots.txt, che contiene un insieme speciale di regole. Di conseguenza, questo file Robots.txt contiene numerose restrizioni, ad esempio quali directory è consentito scansionare e indicizzare e quali directory non è consentito scansionare e indicizzare, e regole simili si applicano a file, pagine Web e altri elementi che non si desidera visualizzare nei risultati di ricerca pubblici. Di conseguenza, il file Robots.txt è importante per proteggere il tuo sito Web dagli hacker poiché ti consente di specificare l'indirizzo del tuo pannello di amministrazione e altre directory sensibili che non desideri visualizzare nei motori di ricerca.
Allora, come scrivi le regole in questo file robots.txt? Bene, non è facile per i principianti e ci vuole tempo per scrivere file robots.txt. Ecco perché Useotools.com fornisce lo strumento gratuito Robots.txt Creator, che ti consente di generare un file robots.txt in pochi secondi con pochi clic. Di conseguenza, lo strumento ha una varietà di impostazioni, descritte di seguito.
Predefinito - Tutti i robot sono: Ci sono due scelte per questa opzione: "Consentito" e "Rifiutato". Impostalo su "Consentito" se desideri che tutti i robot dei motori di ricerca visitino e eseguano la scansione del tuo sito Web, ma Internet non è così affidabile. Ci sono alcuni robot cattivi là fuori, quindi impostalo su "Rifiutato" se vuoi inserire nella lista nera robot o ragni specifici. Crawl-Delay: è una regola importante. Consente ai ragni di ritardare la scansione per un determinato periodo di tempo. Ad esempio, se si dispone di un sito di grandi dimensioni con una mappa del sito di grandi dimensioni, non si desidera sovraccaricare il server consentendo allo spider di esplorare il sito contemporaneamente. Di conseguenza, dovresti impostare Crawl Delay in modo che gli spider eseguano la scansione del tuo sito web lentamente e non sovraccarichino il server. Mappa del sito: la mappa del sito è un'altra regola importante. Se il tuo sito web è di grandi dimensioni, devi mantenere una mappa del sito in modo che gli spider dei motori di ricerca sappiano cosa esplorare. È molto simile a una mappa della città per i nuovi visitatori. Se il tuo sito web ha una mappa del sito, puoi inserirla qui. Robot di ricerca: ecco un elenco di robot/spider dei motori di ricerca che puoi accettare o rifiutare. Directory limitate: puoi utilizzare questa sezione per specificare nomi di directory limitate e percorsi di cui non desideri che i motori di ricerca eseguano la scansione e guardino all'interno.