Robots.txt Generator

Erstelle mit diesem kostenlosen Online-Generator eine robots.txt-Datei für deine Website. Wähle aus, für welche Crawler die Regeln gelten sollen, füge Allow- und Disallow-Pfade hinzu, trage deine Sitemap-URL ein und lege bei Bedarf eine Crawl-Verzögerung fest. Sieh dir die generierten Direktiven in der Vorschau an, kopiere den Text oder lade ihn als robots.txt herunter.

Erstelle mit diesem kostenlosen Online-Generator eine robots.txt-Datei für deine Website. Wähle aus, für welche Crawler die Regeln gelten sollen, füge Allow- und Disallow-Pfade hinzu, trage deine Sitemap-URL ein und lege bei Bedarf eine Crawl-Verzögerung fest. Sieh dir die generierten Direktiven in der Vorschau an, kopiere den Text oder lade ihn als robots.txt herunter.

Eine korrekt konfigurierte robots.txt-Datei hilft dabei, Suchmaschinen-Crawlern mitzuteilen, welche Bereiche deiner Website sie aufrufen oder meiden sollen.

Eine robots.txt-Datei ist eine einfache Textdatei, die Webcrawlern Anweisungen dazu gibt, welche URLs einer Website sie aufrufen oder vermeiden sollen.

Sie ist Bestandteil des Robots Exclusion Protocol. Suchmaschinen und andere Crawler können diese Datei prüfen, bevor sie Seiten einer Website crawlen.

Die Datei muss im Stammverzeichnis des jeweiligen Hostnamens liegen. Zum Beispiel:

https://example.com/robots.txt

Eine Datei unter https://example.com/blog/robots.txt steuert nicht das Crawling der gesamten Website example.com. Auch Subdomains benötigen jeweils eine eigene robots.txt-Datei.

Eine robots.txt-Datei verwendet Direktiven, um Crawling-Vorgaben festzulegen. Der Generator unterstützt folgende Direktiven.

User-agent

Die Direktive User-agent legt fest, für welchen Crawler die folgenden Regeln gelten.

Häufige Beispiele:

User-agent: *

User-agent: Googlebot

User-agent: Bingbot

* gilt für alle Crawler, die das Robots Exclusion Protocol beachten.

Googlebot bezeichnet den wichtigsten Webcrawler von Google.

Bingbot bezeichnet den Crawler von Microsoft Bing.

Regeln für einen bestimmten Crawler können von den allgemeinen Regeln abweichen. Prüfe die generierte Ausgabe, um sicherzustellen, welche Regeln für welche Crawler-Gruppe gelten.

Disallow

Die Direktive Disallow weist kompatible Crawler an, keine URLs aufzurufen, die einem bestimmten Pfad entsprechen.

Beispiel:

User-agent: *

Disallow: /privat/

Diese Regel fordert die entsprechenden Crawler auf, URLs unter dem Pfad /privat/ nicht zu crawlen.

Eine Disallow-Regel entfernt eine Seite nicht automatisch aus den Suchergebnissen. Eine URL kann weiterhin indexiert werden, wenn andere Seiten auf sie verlinken oder die Suchmaschine sie auf anderem Weg entdeckt.

Allow

Die Direktive Allow gibt einen Pfad an, den Crawler aufrufen dürfen, auch wenn eine allgemeinere Disallow-Regel vorhanden ist.

Beispiel:

User-agent: *

Disallow: /privat/

Allow: /privat/oeffentlicher-leitfaden/

Diese Konfiguration weist Crawler an, den privaten Bereich zu meiden, erlaubt aber den angegebenen Leitfaden. Die Unterstützung von Allow und die Auswertung sich überschneidender Regeln können je nach Crawler unterschiedlich sein. Prüfe deshalb die Dokumentation der jeweiligen Suchmaschine.

Sitemap

Die Direktive Sitemap enthält die absolute URL deiner XML-Sitemap.

Beispiel:

Sitemap: https://example.com/sitemap.xml

Eine Sitemap kann Suchmaschinen dabei helfen, URLs deiner Website zu entdecken. Sie setzt Disallow-Regeln nicht außer Kraft und garantiert nicht, dass alle aufgeführten URLs gecrawlt oder indexiert werden.

Wenn das Sitemap-Feld leer ist und du einen gültigen Website-Ursprung eingegeben hast, kann der Generator eine Sitemap-URL auf Basis dieses Ursprungs vorschlagen. Prüfe vor der Veröffentlichung, ob der vorgeschlagene Pfad dem tatsächlichen Speicherort deiner Sitemap entspricht.

Crawl-delay

Die optionale Direktive Crawl-delay fordert eine Pause zwischen den Anfragen eines Crawlers an.

Beispiel:

User-agent: *

Crawl-delay: 10

Damit werden Crawler, die diese Direktive unterstützen, aufgefordert, zwischen Anfragen 10 Sekunden zu warten.

Die Unterstützung hängt vom jeweiligen Crawler ab. Googlebot unterstützt die Direktive Crawl-delay in robots.txt nicht. Gehe daher nicht davon aus, dass diese Einstellung alle Suchmaschinen-Crawler verlangsamt. Prüfe vor der Verwendung die Dokumentation des jeweiligen Crawlers.

Der Generator bietet drei User-agent-Optionen:

Alle Crawler (*): Erstellt Regeln für alle Crawler, die das Protokoll beachten.

Googlebot: Erstellt eine Regelgruppe speziell für den wichtigsten Webcrawler von Google.

Bingbot: Erstellt eine Regelgruppe speziell für den Bing-Crawler.

Der ausgewählte User-agent bestimmt, für welche Crawler-Gruppe die Allow- und Disallow-Regeln gelten. Wenn du unterschiedliche Regeln für verschiedene Crawler benötigst, konfiguriere die jeweiligen Gruppen sorgfältig und überprüfe die generierte Datei.

Füge so viele Pfadregeln hinzu, wie deine Konfiguration benötigt. Jede Regel legt fest, ob ein passender Pfad für den ausgewählten Crawler erlaubt oder gesperrt werden soll.

Beispiele für Pfade:

/admin/

/checkout/

/search/

/assets/

Verwende Pfade relativ zum Website-Stammverzeichnis, die normalerweise mit / beginnen. Prüfe jeden Pfad sorgfältig: Eine zu allgemein formulierte Regel kann mehr URLs betreffen als beabsichtigt.

Der Generator überprüft die Pfade sowie optionale Website- und Sitemap-URLs. Gültige URLs müssen http:// oder https:// verwenden. Eine Sitemap-Direktive benötigt eine absolute URL und keinen relativen Pfad.

Nutze eine Vorlage als Ausgangspunkt und passe die Regeln anschließend an deine Website an.

Alle Crawler erlauben

Eine einfache Konfiguration ohne gesperrte Pfade:

User-agent: *

Disallow:

Damit werden für diese Gruppe keine Disallow-Einschränkungen festgelegt. Es ist jedoch nicht garantiert, dass Crawler jede Seite besuchen oder indexieren.

Alle Crawler blockieren

Eine Konfiguration, die alle kompatiblen Crawler auffordert, keinen Pfad aufzurufen:

User-agent: *

Disallow: /

Verwende diese Einstellung mit Vorsicht. Sie kann Suchmaschinen daran hindern, die gesamte Website zu crawlen. Sie macht eine Website jedoch nicht privat und entfernt keine bereits indexierten URLs.

Häufige private Bereiche mit einer Ausnahme blockieren

Diese Vorlage kann Disallow-Regeln für typische geschützte Bereiche und eine Allow-Regel für einen ausdrücklich freigegebenen Pfad hinzufügen.

Beispiel:

User-agent: *

Disallow: /admin/

Disallow: /konto/

Disallow: /checkout/

Allow: /konto/hilfe/

Dies ist lediglich eine Crawling-Vorgabe. Sie verhindert nicht, dass Besucher oder bösartige Bots diese URLs aufrufen.

Dieses einfache Beispiel erlaubt das allgemeine Crawling, blockiert ausgewählte Bereiche und verweist auf eine Sitemap:

User-agent: *

Disallow: /admin/

Disallow: /konto/

Disallow: /checkout/

Allow: /konto/hilfe/

Sitemap: https://example.com/sitemap.xml

Prüfe vor der Veröffentlichung, ob die Pfade korrekt sind, die Ausnahme beabsichtigt ist und wichtige Seiten oder Ressourcen nicht versehentlich blockiert werden.

Gib den Ursprung deiner Website ein, wenn du den Sitemap-Vorschlag nutzen möchtest.

Wähle Alle Crawler, Googlebot oder Bingbot.

Füge Allow- und Disallow-Pfadregeln hinzu oder beginne mit einer Vorlage.

Überprüfe die Pfade und korrigiere eventuelle Validierungsfehler.

Füge optional eine Sitemap-URL hinzu. Wenn das Feld leer bleibt, prüfe die vorgeschlagene URL auf Basis deines Website-Ursprungs.

Lege bei Bedarf eine Crawl-delay fest, sofern dein Ziel-Crawler diese unterstützt.

Sieh dir den generierten robots.txt-Inhalt in der Vorschau an.

Kopiere den Text oder lade ihn als robots.txt herunter.

Du kannst auch ein Beispiel laden, um die Direktiven auszuprobieren, oder das Formular leeren und neu beginnen.

Eine robots.txt-Datei enthält öffentlich zugängliche Crawling-Anweisungen. Sie ist kein Sicherheitsmechanismus.

Sie kann nicht:

Ein Passwort verlangen oder Besucher authentifizieren.

Private Dateien, Verzeichnisse oder vertrauliche Informationen schützen.

Besucher oder bösartige Bots daran hindern, eine URL aufzurufen.

Garantieren, dass eine gesperrte URL aus den Suchergebnissen verschwindet.

Garantieren, dass alle Crawler ihre Anweisungen befolgen.

Verwende robots.txt nicht, um vertrauliche Informationen zu verbergen. Schütze private Inhalte durch Authentifizierung, Berechtigungen und serverseitige Zugriffskontrollen. Wenn du eine URL aus Suchergebnissen entfernen möchtest, nutze die entsprechenden Entfernungstools der Suchmaschine und geeignete Indexierungssteuerungen, statt dich ausschließlich auf Disallow zu verlassen.