Wenn ein Suchmaschinen-Spider Ihre Website besucht, liest er die Robots.txt-Datei, die einen speziellen Regelsatz enthält. Infolgedessen enthält diese Robots.txt-Datei zahlreiche Einschränkungen, z. B. welche Verzeichnisse Sie scannen und indizieren dürfen und welche Verzeichnisse Sie nicht scannen und indizieren dürfen, und ähnliche Regeln gelten für Dateien, Webseiten und andere Elemente, die Sie nicht in den öffentlichen Suchergebnissen anzeigen möchten. Daher ist die Robots.txt-Datei wichtig, um Ihre Website vor Hackern zu schützen, da sie es Ihnen ermöglicht, die Adresse Ihres Admin-Panels und anderer sensibler Verzeichnisse anzugeben, die Sie nicht in Suchmaschinen anzeigen möchten.
Also, wie schreiben Sie Regeln in diese robots.txt-Datei? Nun, für Anfänger ist es nicht einfach, und es braucht Zeit, robots.txt-Dateien zu schreiben. Aus diesem Grund bietet Useotools.com das kostenlose Tool Robots.txt Creator an, mit dem Sie in Sekundenschnelle mit nur wenigen Klicks eine robots.txt-Datei erstellen können. Daher verfügt das Tool über eine Vielzahl von Einstellungen, die unten aufgeführt sind.
Standard - Alle Roboter sind: Es gibt zwei Möglichkeiten für diese Option: "Erlaubt" und "Abgelehnt". Setzen Sie es auf "Erlaubt", wenn Sie möchten, dass alle Suchmaschinenroboter Ihre Website besuchen und scannen, aber das Internet nicht so zuverlässig ist. Es gibt einige böse Bots, also stellen Sie es auf "Abgelehnt", wenn Sie bestimmte Roboter oder Spinnen auf die schwarze Liste setzen möchten. Crawl-Delay: Dies ist eine wichtige Regel. Es ermöglicht Spinnen, das Scannen um eine bestimmte Zeit zu verzögern. Wenn Sie beispielsweise eine große Website mit einer großen Sitemap haben, möchten Sie den Server nicht überlasten, indem Sie der Spinne erlauben, Ihre Website gleichzeitig zu erkunden. Daher sollten Sie Crawl Delay so einstellen, dass Spider Ihre Website langsam crawlen und den Server nicht überlasten. Sitemap: Sitemap ist eine weitere wichtige Regel. Wenn Ihre Website groß ist, müssen Sie eine Sitemap führen, damit Suchmaschinen-Spider wissen, was sie erkunden müssen. Es ist einem Stadtplan für neue Besucher sehr ähnlich. Wenn Ihre Website über eine Sitemap verfügt, können Sie diese hier eingeben. Suchroboter: Hier ist eine Liste von Suchmaschinenrobotern/-spidern, die Sie entweder akzeptieren oder ablehnen können. Eingeschränkte Verzeichnisse: Sie können diesen Abschnitt verwenden, um eingeschränkte Verzeichnisnamen und Pfade anzugeben, die Suchmaschinen nicht durchsuchen und durchsuchen sollen.