robots.txt Generator - Inklusive KI-Bot-Blocker!

powered by Elbvision.de

Erstellen Sie ganz einfach eine robots.txt in wenigen Schritten. Sie können Bereiche sperren, eine Sitemap angeben und optional KI-Bots blockieren.

Einstellungen

Wählen Sie Ihr System aus, damit wir passende Standard-Regeln vorschlagen. Wenn Sie unsicher sind, wählen Sie „Allgemeine Website“. Hinweis: Die Regeln sind bewusst konservativ, damit nichts Wichtiges versehentlich blockiert wird.
Auswahl: Allgemeine Website. Es werden nur sehr allgemeine, sichere Standards angeboten.
Eine Sitemap ist eine Datei, die Suchmaschinen alle wichtigen Seiten Ihrer Website auflistet. Tipp: Oft lautet sie /sitemap.xml oder bei WordPress /sitemap_index.xml.
Tragen Sie hier Bereiche ein, die Bots nicht crawlen sollen, z.B. interne Ordner oder Adminbereiche. Beispiel: /intern/ oder /downloads/ (jeder Eintrag in eine neue Zeile)

Empfohlene Standard-Optionen

Diese Einstellungen sind für viele Websites sinnvoll und verhindern unnötiges Crawling. Je nach System erscheinen zusätzliche, passende Optionen.
Standard-Optionen
Verhindert, dass Suchergebnisseiten gecrawlt werden (z.B. ?s=).
Setzt /wp-admin/ auf Disallow und erlaubt /wp-admin/admin-ajax.php.
Blockiert z.B. /feed/ und RSS-Feeds. Nur aktivieren, wenn Sie Feeds nicht nutzen möchten.
Sperrt typische Shop-Seiten, die nicht in Suchergebnisse gehören (z.B. /cart/, /checkout/, /account/).
Verhindert, dass URLs mit ?add-to-cart= gecrawlt werden (kann viele Duplikate erzeugen).

KI-Bots blockieren (optional)

KI-Bots können Inhalte auslesen, z.B. für Trainingsdaten. robots.txt ist dabei ein Signal, kein 100% Schutz.
KI-Bots auswählen
OpenAI
Anthropic
KI-Nutzung
Common Crawl

Hinweis: Wer Inhalte wirklich schützen will, braucht zusätzlich Login, WAF oder Rate Limiting. robots.txt alleine reicht nicht gegen alle Scraper.

Vorschau und Aktionen

Was bewirken Ihre Einstellungen?