Quando um spider do mecanismo de pesquisa visita seu site, ele lê o arquivo Robots.txt, que contém um conjunto especial de regras. Como resultado, este arquivo Robots.txt contém várias restrições, como quais diretórios você tem permissão para verificar e indexar e quais diretórios você não tem permissão para verificar e indexar, e regras semelhantes se aplicam a arquivos, páginas da Web e outros itens que você não deseja exibir em resultados de pesquisa públicos. Como resultado, o arquivo Robots.txt é importante para proteger seu site contra hackers, pois permite especificar o endereço do painel de administração e outros diretórios confidenciais que você não deseja exibir nos mecanismos de pesquisa.
Então, como você escreve regras neste arquivo robots.txt? Bem, não é fácil para iniciantes, e leva tempo para escrever arquivos robots.txt. É por isso que Useotools.com oferece a ferramenta gratuita Robots.txt Creator, que permite gerar um arquivo robots.txt em questão de segundos com apenas alguns cliques. Como resultado, a ferramenta tem uma variedade de configurações, descritas abaixo.
Padrão - Todos os robôs são: Há duas opções para esta opção: "Permitido" e "Recusado". Defina-o como "Permitido" se quiser que todos os robôs de mecanismos de pesquisa visitem e verifiquem seu site, mas a Internet não é tão confiável. Existem alguns bots desagradáveis por aí, então defina-o como "Recusado" se você quiser colocar robôs ou aranhas específicos na lista negra. Crawl-Delay: É uma regra importante. Ele permite que os spiders atrasem a varredura por um determinado período de tempo. Por exemplo, se você tiver um site grande com um sitemap grande, não deseja sobrecarregar o servidor permitindo que o spider explore seu site ao mesmo tempo. Como resultado, você deve definir o Atraso de rastreamento para que os spiders rastreiem seu site lentamente e não sobrecarreguem o servidor. Sitemap: Sitemap é outra regra importante. Se o seu site for grande, você deve manter um mapa do site para que os spiders dos mecanismos de pesquisa saibam o que explorar. É muito semelhante a um mapa da cidade para novos visitantes. Se o seu site tiver um mapa do site, você pode inseri-lo aqui. Robôs de busca: Aqui está uma lista de robôs/aranhas de mecanismos de busca que você pode aceitar ou rejeitar. Diretórios restritos: você pode usar esta seção para especificar nomes de diretórios restritos e caminhos que você não deseja que os mecanismos de pesquisa rastreiem e examinem.