Kostenloses technisches SEO-Tool
Erstellen Sie eine sichere Ausgangsbasis für robots.txt.
Wählen Sie den Crawler, erlaubte oder gesperrte Pfade und erzeugen Sie die Datei für das Stammverzeichnis.
Die Regeln entstehen im Browser.
robots.txt steuert Crawling, schützt aber keine Daten und entfernt Seiten nicht garantiert.